openai/tiktoken

这是什么？

核心功能

• 01将文本编码为 token，并无损地解码回原文。
• 02提供 o200k_base、cl100k_base 等具名编码。
• 03通过 encoding_for_model 获取指定 OpenAI 模型所用的编码。
• 04可通过 pip 从 PyPI 安装。
• 05支持通过直接构造或插件机制扩展自定义编码。

适用场景

• 在发送请求前统计提示词的 token 数量，估算 API 用量。
• 检查输入内容是否超出模型的上下文窗口。
• 借助自带的教学模块学习 BPE 分词的工作原理。

快速上手

1. 1

   从 PyPI 安装软件包

   pip install tiktoken
2. 2

   在 Python 中加载编码并验证文本往返转换

   python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

使用前须知

• !README 仅介绍了 Python 包，未说明其他语言的绑定。

标签

常见问题

tiktoken 是什么？

OpenAI 模型使用的快速 BPE 分词器，可将文本与 token 互相无损转换。 tiktoken 是一个为 OpenAI 模型设计的 BPE（字节对编码）分词器。它可以把文本转换为语言模型读取的整数 token 序列，也能把 token 解码回原始文本。开发者常用它在发送提示词前统计 token 数量，以估算费用或确保不超过模型的上下文长度限制。

tiktoken 可以免费使用吗？用的什么许可证？

tiktoken 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

tiktoken 还在维护吗？

半年内有更新。tiktoken 最近一次提交是在 2026年8月17日。

tiktoken 适合用来做什么？

在发送请求前统计提示词的 token 数量，估算 API 用量。 检查输入内容是否超出模型的上下文窗口。 借助自带的教学模块学习 BPE 分词的工作原理。

tiktoken 怎么安装和运行？

从 PyPI 安装软件包: pip install tiktoken 在 Python 中加载编码并验证文本往返转换: python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

在哪里获取 tiktoken？

源代码和安装说明在 GitHub 上：https://github.com/openai/tiktoken