「tokenizer」に関するオープンソースプロジェクト

LLM APIの形式をDeepSeekのConversationに変換し、プロンプトを生成するRustライブラリとPythonバインディング。

OpenAIのモデル向けに設計された高速なBPEトークナイザーで、テキストをトークンに変換し、元に戻せます。