huggingface/tokenizers

어떤 프로젝트인가요?

핵심 기능

• 01BPE, Unigram, WordPiece, WordLevel 토크나이징 모델을 구현합니다.
• 02Rust 코어를 기반으로 Python과 Node.js 바인딩을 제공합니다.
• 03Hugging Face Hub 또는 로컬 tokenizer.json 파일에서 사전 학습된 토크나이저를 불러옵니다.
• 04attention mask와 type ID를 포함한 encode, decode, tokenize 메서드를 제공합니다.
• 05하위 크레이트로 나뉘어 있어 서빙 빌드에서 학습 코드를 제외할 수 있습니다.

활용 사례

• BERT나 GPT 계열 LLM 같은 트랜스포머 모델에 입력할 텍스트를 준비합니다.
• 의존성을 최소화한 프로덕션 추론 서비스에서 토크나이징을 실행합니다.
• 특정 도메인의 코퍼스로 커스텀 토크나이저를 학습합니다.
• Node.js 또는 Python 애플리케이션에서 레거시 tokenizer.json 파일을 변환하거나 읽습니다.

빠른 시작

1. 1

   Python 패키지(프리릴리스 버전)를 설치합니다

   pip install --pre tokenizers
2. 2

   사전 학습된 토크나이저를 불러와 텍스트를 인코딩합니다

사용 전 알아둘 점

• !v1.0.0 릴리스 후보에는 학습 및 오프셋 출력과 같은 기능이 아직 모두 포함되어 있지 않습니다.
• !일부 API는 아직 복원 중이며, v1.0.0 출시 전에 호환성이 깨지는 변경 사항이 예정되어 있습니다.

토픽

자주 묻는 질문

tokenizers은(는) 무엇인가요?

NLP 및 언어 모델 파이프라인을 위한 Rust 기반 고성능 토크나이저 라이브러리로, Python과 Node.js 바인딩을 제공합니다. tokenizers는 Hugging Face의 토크나이저 라이브러리로, 텍스트를 토큰 ID로 변환하고 다시 텍스트로 되돌립니다. BPE, Unigram, WordPiece, WordLevel 등 널리 쓰이는 서브워드 모델과 전체 토크나이징 파이프라인을 구성하는 정규화, 사전 토큰화, 후처리, 디코딩 단계를 구현합니다. 개발자는 from_pretrained 또는 tokenizer.json 파일을 사용해 사전 학습된 토크나이저를 불러온 뒤 Python이나 Node.js에서 텍스트를 인코딩하고 디코딩할 수 있습니다.

tokenizers은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

tokenizers은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

tokenizers은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. tokenizers의 마지막 커밋은 2026년 10월 18일입니다.

tokenizers은(는) 어디에 사용할 수 있나요?

BERT나 GPT 계열 LLM 같은 트랜스포머 모델에 입력할 텍스트를 준비합니다. 의존성을 최소화한 프로덕션 추론 서비스에서 토크나이징을 실행합니다. 특정 도메인의 코퍼스로 커스텀 토크나이저를 학습합니다. Node.js 또는 Python 애플리케이션에서 레거시 tokenizer.json 파일을 변환하거나 읽습니다.

tokenizers는 어떻게 설치하나요?

Python 패키지(프리릴리스 버전)를 설치합니다: pip install --pre tokenizers 사전 학습된 토크나이저를 불러와 텍스트를 인코딩합니다

tokenizers은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/tokenizers