go-ego/gse

Что это?

Ключевые возможности

• 01Несколько режимов сегментации: стандартный, для поисковых систем, полный и точный
• 02Режим HMM с алгоритмом Витерби для слов, отсутствующих в словаре
• 03Пользовательские и встроенные словари, поддержка стоп-слов
• 04Разметка частей речи и анализ сегментов
• 05Поддержка английского, китайского (включая традиционный), японского и других языков
• 06Пример сервиса JSON RPC

Сценарии использования

• Токенизация китайского или японского текста для индексов полнотекстового поиска
• Создание сервиса на Go для сегментации пользовательского ввода и извлечения ключевых слов
• Добавление сегментации текста в поисковый бэкенд, например Elasticsearch или bleve
• Обработка специализированных текстов с помощью пользовательских словарей

Быстрый старт

1. 1

   Установите пакет gse с помощью Go modules

   go get -u github.com/go-ego/gse
2. 2

   Импортируйте пакет в код Go

   import "github.com/go-ego/gse"
3. 3

   Создайте сегментатор, загрузите словарь и вызовите Cut для текста

Что важно знать

• !Для сегментации текста на языках, отличных от английского, нужны словари и встроенные данные для китайского, японского и других языков, поэтому настройка требует дополнительных усилий.

В подборках

Темы

Частые вопросы

Что такое gse?

Библиотека для сегментации текста и NLP на Go: поддерживает английский, китайский, японский и другие языки и реализует подход jieba. gse — библиотека на Go для разбиения текста на слова на разных языках, включая английский, китайский, японский и другие. Это реализация подхода jieba к сегментации на Go с дополнительными возможностями NLP, например разметкой частей речи.

gse можно использовать бесплатно? Какая у него лицензия?

gse распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

gse всё ещё поддерживается?

Активно поддерживается. Последний коммит в gse — 4 нояб. 2026 г..

Для чего можно использовать gse?

Токенизация китайского или японского текста для индексов полнотекстового поиска Создание сервиса на Go для сегментации пользовательского ввода и извлечения ключевых слов Добавление сегментации текста в поисковый бэкенд, например Elasticsearch или bleve Обработка специализированных текстов с помощью пользовательских словарей

Как установить gse?

Установите пакет gse с помощью Go modules: go get -u github.com/go-ego/gse Импортируйте пакет в код Go: import "github.com/go-ego/gse" Создайте сегментатор, загрузите словарь и вызовите Cut для текста

Где скачать gse?

Исходный код и инструкции по установке — на GitHub: https://github.com/go-ego/gse