huggingface/tokenizers

Что это?

Ключевые возможности

• 01Реализует модели токенизации BPE, Unigram, WordPiece и WordLevel.
• 02Предоставляет привязки для Python и Node.js поверх ядра на Rust.
• 03Загружает предварительно обученные токенизаторы с Hugging Face Hub или из локального файла tokenizer.json.
• 04Предоставляет методы encode, decode и tokenize с масками внимания и ID типов.
• 05Разделён на подкрэйты, чтобы в сборки для serving не включался код обучения.

Сценарии использования

• Подготовка текстовых входных данных для трансформерных моделей, например BERT или LLM в стиле GPT.
• Запуск токенизации в промышленном сервисе инференса с минимальным набором зависимостей.
• Обучение собственного токенизатора на корпусе текстов из определённой предметной области.
• Преобразование устаревших файлов tokenizer.json или чтение таких файлов в приложении на Node.js или Python.

Темы

Частые вопросы

Что такое tokenizers?

Быстрая современная библиотека токенизации на Rust с привязками для Python и Node.js для NLP- и языковых модельных пайплайнов. tokenizers — библиотека токенизации от Hugging Face, которая преобразует текст в ID токенов и обратно. Она реализует распространённые модели разбиения на подслова (BPE, Unigram, WordPiece, WordLevel), а также этапы нормализации, предварительной токенизации, постобработки и декодирования, из которых состоит полный пайплайн токенизации. Разработчики могут загрузить предварительно обученный токенизатор с помощью from_pretrained или из файла tokenizer.json, а затем кодировать и декодировать текст из Python или Node.js.

tokenizers можно использовать бесплатно? Какая у него лицензия?

tokenizers распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

tokenizers всё ещё поддерживается?

Активно поддерживается. Последний коммит в tokenizers — 18 окт. 2026 г..

Для чего можно использовать tokenizers?

Подготовка текстовых входных данных для трансформерных моделей, например BERT или LLM в стиле GPT. Запуск токенизации в промышленном сервисе инференса с минимальным набором зависимостей. Обучение собственного токенизатора на корпусе текстов из определённой предметной области. Преобразование устаревших файлов tokenizer.json или чтение таких файлов в приложении на Node.js или Python.

Где скачать tokenizers?

Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/tokenizers