Библиотеки на Rust и привязки для Python, которые преобразуют форматы LLM API в диалоги DeepSeek и собирают промпты.
1,3 тыс.116RustMITОбновлён 23 часа назад
#tokenizer
Open source проекты по теме «tokenizer»
Отобранные репозитории GitHub по теме tokenizer с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Быстрый BPE-токенизатор для моделей OpenAI: преобразует текст в токены и обратно без потерь.
19,5 тыс.1,7 тыс.PythonMITОбновлён 2 месяца назад