huggingface/tokenizers

这是什么？

核心功能

• 01支持 BPE、Unigram、WordPiece 和 WordLevel 等分词模型。
• 02可从 Hugging Face Hub 或本地 tokenizer.json 文件加载预训练分词器。
• 03基于 Rust 核心，提供 Python 和 Node.js 绑定。
• 04包含归一化、预分词、后处理和解码等完整环节。
• 05支持训练新的分词器，Rust 版本可将推理与训练拆分为独立 crate。

适用场景

• 在 Python 中为大语言模型服务编码输入提示并解码输出。
• 在特定领域语料上训练自定义分词器。
• 在 Node.js 应用中使用与 Hugging Face 模型相同的 tokenizer.json 文件进行分词。

快速上手

1. 1

   安装 Python 包（预发布版）

   pip install --pre tokenizers
2. 2

   加载预训练分词器并编码文本

   from tokenizers import Tokenizer; tokenizer = Tokenizer.from_pretrained("meta-llama/Llama-3.1-8B")

使用前须知

• !这是候选发布版（v1.0.0.rc.0），尚未包含之前 0.23 版本的全部功能，例如训练和部分 Python API 方法。
• !Rust crate 中的训练和 Hub 下载均为可选功能，需要显式启用。

标签

常见问题

tokenizers 是什么？

基于 Rust 的高性能分词库，提供 Python 和 Node.js 绑定，用于 NLP 与大语言模型流程。 tokenizers 是 Hugging Face 推出的分词库，用于把原始文本转换为模型可用的 token ID，也能把 ID 还原为文本。它覆盖完整流程：文本归一化、预分词、分词模型（BPE、Unigram、WordPiece、WordLevel）、后处理和解码。预训练分词器可以从 Hugging Face Hub 加载，也可以读取本地的 tokenizer.json 文件。

tokenizers 可以免费使用吗？用的什么许可证？

tokenizers 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

tokenizers 还在维护吗？

活跃维护中。tokenizers 最近一次提交是在 2026年10月19日。

tokenizers 适合用来做什么？

在 Python 中为大语言模型服务编码输入提示并解码输出。 在特定领域语料上训练自定义分词器。 在 Node.js 应用中使用与 Hugging Face 模型相同的 tokenizer.json 文件进行分词。

tokenizers 怎么安装和运行？

安装 Python 包（预发布版）: pip install --pre tokenizers 加载预训练分词器并编码文本: from tokenizers import Tokenizer; tokenizer = Tokenizer.from_pretrained("meta-llama/Llama-3.1-8B")

在哪里获取 tokenizers？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/tokenizers