jieba方式をGoで実装した、英語・中国語・日本語などに対応するGo製のテキスト分割・NLPライブラリ。 gseは、英語・中国語・日本語など複数の言語のテキストを単語に分割するGoライブラリです。jiebaの分割方式をGoで実装し、品詞タグ付けなどのNLP機能も追加しています。

gse は無料で使えますか？ライセンスは？

gse は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

gse は今もメンテナンスされていますか？

活発にメンテナンス中。gse の最終コミットは 2026年11月4日です。

gse は何に使えますか？

全文検索インデックス向けに中国語や日本語のテキストをトークン化するキーワード抽出のためにユーザー入力を分割するGoサービスを構築する Elasticsearchやbleveなどの検索バックエンドに単語分割機能を追加するドメイン固有のテキスト処理にカスタム辞書を適用する

gse のインストール方法は？

Go modulesでgseパッケージをインストールする: go get -u github.com/go-ego/gse Goコードにパッケージをインポートする: import "github.com/go-ego/gse" セグメンターを作成し、辞書を読み込んで、テキストに対してCutを呼び出す

gse はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/go-ego/gse

go-ego/gse

Q: gse は今もメンテナンスされていますか？

活発にメンテナンス中。gse の最終コミットは 2026年11月4日 です。

jieba方式をGoで実装した、英語・中国語・日本語などに対応するGo製のテキスト分割・NLPライブラリ。

GitHub で見る

スター: 2,847
フォーク: 233
未解決の Issue: 15
最終コミット: 3 日前

これは何？

gseは、英語・中国語・日本語など複数の言語のテキストを単語に分割するGoライブラリです。jiebaの分割方式をGoで実装し、品詞タグ付けなどのNLP機能も追加しています。

分割器は、標準、検索エンジン向け、全分割、精密分割など複数のモードを備えています。また、Viterbiアルゴリズムを使って辞書にない単語を認識するHMMモードも利用できます。カスタム辞書と組み込み辞書のほか、ストップワードリストも読み込めます。分割結果の解析やトリミングにも対応しており、繁体字中国語も扱えます。

全文検索用のテキスト前処理によく使われており、riot、zincsearch、Elasticsearch、bleveとの連携機能もあります。

主な機能

01標準、検索エンジン向け、全分割、精密分割など複数の分割モード
02辞書にない単語をViterbiアルゴリズムで認識するHMMモード
03ストップワードにも対応したカスタム辞書と組み込み辞書
04品詞タグ付けと分割結果の解析
05英語、中国語（繁体字を含む）、日本語などに対応
06JSON RPCサービスのサンプルを同梱

ユースケース

全文検索インデックス向けに中国語や日本語のテキストをトークン化する
キーワード抽出のためにユーザー入力を分割するGoサービスを構築する
Elasticsearchやbleveなどの検索バックエンドに単語分割機能を追加する
ドメイン固有のテキスト処理にカスタム辞書を適用する

クイックスタート

1
Go modulesでgseパッケージをインストールする
go get -u github.com/go-ego/gse
2
Goコードにパッケージをインポートする
import "github.com/go-ego/gse"
3
セグメンターを作成し、辞書を読み込んで、テキストに対してCutを呼び出す

使う前に知っておきたいこと

英語以外のテキストを分かち書きするには、中国語、日本語などの辞書と埋め込みデータが必要なため、セットアップの手間が増えます。

収録されている特集

自然言語処理ツールとライブラリ

トピック

#nlp#text-segmentation#chinese-segmentation#go #search#jieba#word-segmentation#multilingual #chinese #english

よくある質問

gse とは？: jieba方式をGoで実装した、英語・中国語・日本語などに対応するGo製のテキスト分割・NLPライブラリ。 gseは、英語・中国語・日本語など複数の言語のテキストを単語に分割するGoライブラリです。jiebaの分割方式をGoで実装し、品詞タグ付けなどのNLP機能も追加しています。
gse は無料で使えますか？ライセンスは？: gse は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
gse は今もメンテナンスされていますか？: 活発にメンテナンス中。gse の最終コミットは 2026年11月4日です。
gse は何に使えますか？: 全文検索インデックス向けに中国語や日本語のテキストをトークン化するキーワード抽出のためにユーザー入力を分割するGoサービスを構築する Elasticsearchやbleveなどの検索バックエンドに単語分割機能を追加するドメイン固有のテキスト処理にカスタム辞書を適用する
gse のインストール方法は？: Go modulesでgseパッケージをインストールする: go get -u github.com/go-ego/gse Goコードにパッケージをインポートする: import "github.com/go-ego/gse" セグメンターを作成し、辞書を読み込んで、テキストに対してCutを呼び出す
gse はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/go-ego/gse

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。