Repolode
Enviar
go-ego

go-ego/gse

Biblioteca de segmentação de texto e NLP em Go para inglês, chinês, japonês e outros idiomas, que implementa a abordagem do jieba.

Ver no GitHub
Estrelas
2,847
Forks
233
Issues abertas
15
Último commit
há 3 dias

O que é?

gse é uma biblioteca Go para dividir textos em palavras em vários idiomas, incluindo inglês, chinês, japonês e outros. É uma implementação em Go da abordagem de segmentação do jieba, ampliada com recursos adicionais de NLP, como marcação de classes gramaticais.

O segmentador oferece vários modos: padrão, para mecanismos de busca, completo e preciso, além de um modo HMM que usa o algoritmo de Viterbi para reconhecer palavras ausentes do dicionário. É possível carregar dicionários personalizados e incorporados, além de listas de stop words, e analisar ou aparar os segmentos resultantes. Também há suporte a chinês tradicional.

A biblioteca é comumente usada para preparar textos para busca em texto completo e conta com integrações com riot, zincsearch, Elasticsearch e bleve.

Recursos principais

  • 01Vários modos de segmentação: padrão, para mecanismos de busca, completo e preciso
  • 02Modo HMM que usa o algoritmo de Viterbi para palavras fora do dicionário
  • 03Dicionários personalizados e incorporados, com suporte a stop words
  • 04Marcação de classes gramaticais e análise de segmentos
  • 05Compatível com inglês, chinês (incluindo o tradicional), japonês e outros idiomas
  • 06Inclui um exemplo de serviço JSON RPC

Casos de uso

  • Tokenizar textos em chinês ou japonês para índices de busca em texto completo
  • Criar um serviço em Go que segmenta entradas de usuários para extrair palavras-chave
  • Adicionar segmentação de palavras a um backend de busca, como Elasticsearch ou bleve
  • Aplicar dicionários personalizados ao processamento de textos de domínios específicos

Início rápido

  1. 1

    Instale o pacote gse com Go modules

    go get -u github.com/go-ego/gse
  2. 2

    Importe o pacote no seu código Go

    import "github.com/go-ego/gse"
  3. 3

    Crie um segmentador, carregue o dicionário e chame Cut no seu texto

Antes de usar

  • A segmentação de idiomas diferentes do inglês requer dicionários e dados incorporados para chinês, japonês e outros idiomas, o que exige mais trabalho de configuração.

Em coleções

Ferramentas e bibliotecas de processamento de linguagem natural

Tópicos

#nlp#text-segmentation#chinese-segmentation#go#search#jieba#word-segmentation#multilingual#chinese#english

Perguntas frequentes

O que é gse?
Biblioteca de segmentação de texto e NLP em Go para inglês, chinês, japonês e outros idiomas, que implementa a abordagem do jieba. gse é uma biblioteca Go para dividir textos em palavras em vários idiomas, incluindo inglês, chinês, japonês e outros. É uma implementação em Go da abordagem de segmentação do jieba, ampliada com recursos adicionais de NLP, como marcação de classes gramaticais.
gse é gratuito? Qual é a licença?
gse é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
gse ainda é mantido?
Manutenção ativa. O último commit de gse foi em 4 de nov. de 2026.
Para que posso usar gse?
Tokenizar textos em chinês ou japonês para índices de busca em texto completo Criar um serviço em Go que segmenta entradas de usuários para extrair palavras-chave Adicionar segmentação de palavras a um backend de busca, como Elasticsearch ou bleve Aplicar dicionários personalizados ao processamento de textos de domínios específicos
Como instalar gse?
Instale o pacote gse com Go modules: go get -u github.com/go-ego/gse Importe o pacote no seu código Go: import "github.com/go-ego/gse" Crie um segmentador, carregue o dicionário e chame Cut no seu texto
Onde consigo gse?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/go-ego/gse

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados