Repolode
Enviar
go-ego

go-ego/gse

Biblioteca de segmentación de texto y NLP en Go para inglés, chino, japonés y otros idiomas, que implementa el enfoque de jieba.

Ver en GitHub
Estrellas
2,847
Forks
233
Issues abiertos
15
Último commit
anteayer

¿Qué es?

gse es una biblioteca de Go para dividir texto en palabras en varios idiomas, como inglés, chino, japonés y otros. Implementa en Go el enfoque de segmentación de jieba y lo amplía con funciones adicionales de NLP, como el etiquetado de categorías gramaticales.

El segmentador ofrece varios modos: estándar, para motores de búsqueda, completo y preciso, además de un modo HMM que usa el algoritmo de Viterbi para reconocer palabras que no están en el diccionario. Se pueden cargar diccionarios personalizados e integrados, así como listas de palabras vacías, y analizar o recortar los segmentos resultantes. También admite chino tradicional.

La biblioteca se usa habitualmente para preparar texto para búsquedas de texto completo y cuenta con integraciones con riot, zincsearch, Elasticsearch y bleve.

Funciones clave

  • 01Varios modos de segmentación: estándar, para motores de búsqueda, completo y preciso
  • 02Modo HMM que usa el algoritmo de Viterbi para palabras que no están en el diccionario
  • 03Diccionarios personalizados e integrados, con compatibilidad con palabras vacías
  • 04Etiquetado de categorías gramaticales y análisis de segmentos
  • 05Admite inglés, chino (incluido el tradicional), japonés y otros idiomas
  • 06Incluye un ejemplo de servicio JSON RPC

Casos de uso

  • Tokenizar texto en chino o japonés para índices de búsqueda de texto completo
  • Crear un servicio en Go que segmente la entrada del usuario para extraer palabras clave
  • Añadir segmentación de palabras a un backend de búsqueda como Elasticsearch o bleve
  • Aplicar diccionarios personalizados al procesamiento de texto de dominios específicos

Inicio rápido

  1. 1

    Instala el paquete gse con Go modules

    go get -u github.com/go-ego/gse
  2. 2

    Importa el paquete en tu código Go

    import "github.com/go-ego/gse"
  3. 3

    Crea un segmentador, carga el diccionario y llama a Cut para procesar el texto

Antes de usarlo

  • Para segmentar texto en idiomas distintos del inglés se necesitan diccionarios y datos integrados para chino, japonés y otros idiomas, lo que requiere más trabajo de configuración.

En colecciones

Herramientas y bibliotecas de procesamiento del lenguaje natural

Temas

#nlp#text-segmentation#chinese-segmentation#go#search#jieba#word-segmentation#multilingual#chinese#english

Preguntas frecuentes

¿Qué es gse?
Biblioteca de segmentación de texto y NLP en Go para inglés, chino, japonés y otros idiomas, que implementa el enfoque de jieba. gse es una biblioteca de Go para dividir texto en palabras en varios idiomas, como inglés, chino, japonés y otros. Implementa en Go el enfoque de segmentación de jieba y lo amplía con funciones adicionales de NLP, como el etiquetado de categorías gramaticales.
¿gse es gratuito? ¿Qué licencia tiene?
gse es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿gse sigue mantenido?
Mantenimiento activo. El último commit de gse fue el 4 nov 2026.
¿Para qué puedo usar gse?
Tokenizar texto en chino o japonés para índices de búsqueda de texto completo Crear un servicio en Go que segmente la entrada del usuario para extraer palabras clave Añadir segmentación de palabras a un backend de búsqueda como Elasticsearch o bleve Aplicar diccionarios personalizados al procesamiento de texto de dominios específicos
¿Cómo se instala gse?
Instala el paquete gse con Go modules: go get -u github.com/go-ego/gse Importa el paquete en tu código Go: import "github.com/go-ego/gse" Crea un segmentador, carga el diccionario y llama a Cut para procesar el texto
¿Dónde consigo gse?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/go-ego/gse

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados