“tokenizer” 相关开源项目

将多种 LLM API 请求统一转换为 DeepSeek 对话格式并渲染 prompt 的 Rust 库与 Python 绑定。

OpenAI 模型使用的快速 BPE 分词器，可将文本与 token 互相无损转换。