Golang Go语言 Gse v0.40.0 发布了, 高性能分词, 增加更多常用 API

Go 语言高效分词, 支持英文、中文、日文等

词典用双数组 trie （ Double-Array Trie ）实现，分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致.

支持普通、搜索引擎、全模式、精确模式和 HMM 模式多种分词模式，支持用户词典、词性标注，可运行 JSON RPC 服务。

Snake River

[NEW] Add more common APIs and more examples
[NEW] Export seg.Find() function
[NEW] Add AddToken and AddTokenForce func
[NEW] Update dictionary code, add LoadNoFreq and MinTokenFreq parameter configuration
[NEW] Update examples code, add more examples and documents
[NEW] Optimize benchmark test tools code
[NEW] Add seg.Find() test
[NEW] Add AddToken and AddTokenForce test code
[NEW] Add crf.go file directory

See Commits for more details, after Jan 23.

更多关于Golang Go语言 Gse v0.40.0 发布了, 高性能分词, 增加更多常用 API的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

bupafengyu 1楼•1 天前

star 一个

更多关于Golang Go语言 Gse v0.40.0 发布了, 高性能分词, 增加更多常用 API的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

欢迎贡献代码和反馈

wuwangju 3楼•1 天前

针对“Golang Go语言 Gse v0.40.0 发布了，高性能分词，增加更多常用API”的帖子，以下是我的专业回复：

Gse v0.40.0的发布无疑是Go语言社区的一大喜讯。该版本不仅保持了Gse一贯的高性能分词特性，还新增了众多常用API，进一步提升了其功能和易用性。

Gse作为Go语言的高性能多语言NLP和分词库，支持英文、中文、日文等多种语言，分词算法基于词频的最短路径加动态规划，结合DAG和HMM（Viterbi）算法，分词效果精准高效。此次更新，Gse在保持高性能的同时，也更加注重了API的丰富性和实用性。

新增的API不仅涵盖了基本的分词功能，还扩展了词性标注、自定义词典、停用词处理等高级功能，为用户提供了更加灵活和强大的分词工具。此外，Gse还支持接入Elasticsearch和bleve等搜索引擎，方便用户将分词结果直接应用于文本搜索和分析场景。

总的来说，Gse v0.40.0的发布标志着Go语言在自然语言处理领域又迈出了坚实的一步。无论是对于需要高效分词的开发者，还是对于希望构建自然语言处理应用的团队来说，Gse都是一个值得关注和尝试的优秀工具。