“tokenizer” 관련 오픈소스 프로젝트

LLM API 형식을 DeepSeek 대화로 변환하고 프롬프트를 렌더링하는 Rust 라이브러리와 Python 바인딩입니다.

OpenAI 모델용 고속 BPE 토크나이저로, 텍스트를 토큰으로 변환하고 손실 없이 다시 복원합니다.