go-ego/gse

这是什么？

核心功能

• 01提供标准、搜索引擎、全模式和精确模式等多种分词方式
• 02通过 HMM 与 Viterbi 算法识别词典外的新词
• 03支持自定义词典、内嵌词典和停用词
• 04提供词性标注与分词结果分析
• 05支持英文、简体与繁体中文、日文等多种语言
• 06附带 JSON RPC 服务示例

适用场景

• 为中文或日文文本生成全文搜索索引的分词结果
• 在 Go 服务中对用户输入分词，用于关键词提取
• 为 Elasticsearch、bleve 等搜索后端补充分词能力
• 使用自定义词典处理特定领域的文本

快速上手

1. 1

   使用 Go 模块安装 gse 包

   go get -u github.com/go-ego/gse
2. 2

   在 Go 代码中导入该包

   import "github.com/go-ego/gse"
3. 3

   创建分词器、加载词典并对文本调用 Cut

使用前须知

• !对中文、日文等非英语分词需要加载相应词典，会增加设置工作量。

收录于专题

标签

常见问题

gse 是什么？

用 Go 实现的高效多语言分词与 NLP 库，支持中文、英文、日文等，基于 jieba 思路。 gse 是一个 Go 语言分词库，支持中文、英文、日文等多种语言的文本切分。它以 jieba 的分词思路为基础用 Go 重新实现，并增加了词性标注等 NLP 功能。

gse 可以免费使用吗？用的什么许可证？

gse 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

gse 还在维护吗？

活跃维护中。gse 最近一次提交是在 2026年11月4日。

gse 适合用来做什么？

为中文或日文文本生成全文搜索索引的分词结果 在 Go 服务中对用户输入分词，用于关键词提取 为 Elasticsearch、bleve 等搜索后端补充分词能力 使用自定义词典处理特定领域的文本

gse 怎么安装和运行？

使用 Go 模块安装 gse 包: go get -u github.com/go-ego/gse 在 Go 代码中导入该包: import "github.com/go-ego/gse" 创建分词器、加载词典并对文本调用 Cut

在哪里获取 gse？

源代码和安装说明在 GitHub 上：https://github.com/go-ego/gse