openai/tiktoken

Что это?

Ключевые возможности

• 01Без потерь кодирует текст в токены и декодирует токены обратно в исходный текст.
• 02Предоставляет именованные кодировки, например o200k_base и cl100k_base.
• 03Находит кодировку конкретной модели OpenAI с помощью encoding_for_model.
• 04Устанавливается из PyPI с помощью pip.
• 05Поддерживает пользовательские кодировки, которые можно создать напрямую или подключить через механизм плагинов.

Сценарии использования

• Подсчёт токенов в промпте, чтобы оценить использование API до отправки запроса.
• Проверка, помещается ли ввод в контекстное окно модели.
• Изучение принципов работы токенизации BPE с помощью встроенного обучающего модуля.

Быстрый старт

1. 1

   Установите пакет из PyPI

   pip install tiktoken
2. 2

   Загрузите кодировку и выполните обратное преобразование текста в Python

   python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

Что важно знать

• !В README описан только пакет Python; привязки для других языков не рассматриваются.

Темы

Частые вопросы

Что такое tiktoken?

Быстрый BPE-токенизатор для моделей OpenAI: преобразует текст в токены и обратно без потерь. tiktoken — это токенизатор на основе byte pair encoding (BPE), созданный для моделей OpenAI. Он преобразует текст в последовательность целочисленных токенов, которую читает языковая модель, и декодирует токены обратно в исходный текст. Обычно разработчики используют его, чтобы подсчитать токены перед отправкой промпта и оценить стоимость запроса или проверить, укладывается ли он в контекстное окно модели.

tiktoken можно использовать бесплатно? Какая у него лицензия?

tiktoken распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

tiktoken всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в tiktoken — 17 авг. 2026 г..

Для чего можно использовать tiktoken?

Подсчёт токенов в промпте, чтобы оценить использование API до отправки запроса. Проверка, помещается ли ввод в контекстное окно модели. Изучение принципов работы токенизации BPE с помощью встроенного обучающего модуля.

Как установить tiktoken?

Установите пакет из PyPI: pip install tiktoken Загрузите кодировку и выполните обратное преобразование текста в Python: python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'"

Где скачать tiktoken?

Исходный код и инструкции по установке — на GitHub: https://github.com/openai/tiktoken