Repolode
go-ego

go-ego/gse

jieba 방식을 Go로 구현한 영어, 중국어, 일본어 등 다국어 텍스트 분할 및 NLP 라이브러리입니다.

스타
2,847
포크
233
열린 이슈
15
마지막 커밋
3일 전

어떤 프로젝트인가요?

gse는 영어, 중국어, 일본어를 비롯한 여러 언어의 텍스트를 단어 단위로 분할하는 Go 라이브러리입니다. jieba의 분할 방식을 Go로 구현하고 품사 태깅 등 추가 NLP 기능을 제공합니다.

세그먼터는 표준, 검색 엔진, 전체, 정확 분할 모드를 제공하며, 사전에 없는 단어를 인식하기 위해 Viterbi 알고리즘을 사용하는 HMM 모드도 지원합니다. 사용자 사전과 내장 사전, 불용어 목록을 불러와 분할 결과를 분석하거나 다듬을 수 있습니다. 번체 중국어도 지원합니다.

이 라이브러리는 전문 검색을 위한 텍스트 전처리에 자주 사용되며, riot, zincsearch, Elasticsearch, bleve와 연동됩니다.

핵심 기능

  • 01여러 분할 모드: 표준, 검색 엔진, 전체, 정확 분할
  • 02사전에 없는 단어를 처리하는 Viterbi 알고리즘 기반 HMM 모드
  • 03불용어를 지원하는 사용자 사전 및 내장 사전
  • 04품사 태깅 및 분할 결과 분석
  • 05영어, 중국어(번체 포함), 일본어 등 다국어 지원
  • 06JSON RPC 서비스 예제 포함

활용 사례

  • 전문 검색 인덱스를 위해 중국어 또는 일본어 텍스트 토큰화
  • 키워드 추출을 위해 사용자 입력을 분할하는 Go 서비스 구축
  • Elasticsearch나 bleve 같은 검색 백엔드에 단어 분할 기능 추가
  • 도메인별 텍스트 처리에 사용자 사전 적용

빠른 시작

  1. 1

    Go modules로 gse 패키지를 설치합니다

    go get -u github.com/go-ego/gse
  2. 2

    Go 코드에서 패키지를 임포트합니다

    import "github.com/go-ego/gse"
  3. 3

    세그먼터를 만들고 사전을 로드한 다음 텍스트에 Cut을 호출합니다

사용 전 알아둘 점

  • 영어 이외의 텍스트를 분할하려면 중국어, 일본어 등의 사전과 내장 데이터가 필요하므로 설정 작업이 추가됩니다.

포함된 컬렉션

토픽

#nlp#text-segmentation#chinese-segmentation#go#search#jieba#word-segmentation#multilingual#chinese#english

자주 묻는 질문

gse은(는) 무엇인가요?
jieba 방식을 Go로 구현한 영어, 중국어, 일본어 등 다국어 텍스트 분할 및 NLP 라이브러리입니다. gse는 영어, 중국어, 일본어를 비롯한 여러 언어의 텍스트를 단어 단위로 분할하는 Go 라이브러리입니다. jieba의 분할 방식을 Go로 구현하고 품사 태깅 등 추가 NLP 기능을 제공합니다.
gse은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
gse은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
gse은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. gse의 마지막 커밋은 2026년 11월 4일입니다.
gse은(는) 어디에 사용할 수 있나요?
전문 검색 인덱스를 위해 중국어 또는 일본어 텍스트 토큰화 키워드 추출을 위해 사용자 입력을 분할하는 Go 서비스 구축 Elasticsearch나 bleve 같은 검색 백엔드에 단어 분할 기능 추가 도메인별 텍스트 처리에 사용자 사전 적용
gse는 어떻게 설치하나요?
Go modules로 gse 패키지를 설치합니다: go get -u github.com/go-ego/gse Go 코드에서 패키지를 임포트합니다: import "github.com/go-ego/gse" 세그먼터를 만들고 사전을 로드한 다음 텍스트에 Cut을 호출합니다
gse은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/go-ego/gse

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트