Быстрая современная библиотека токенизации на Rust с привязками для Python и Node.js для NLP- и языковых модельных пайплайнов.
11,2 тыс.1,2 тыс.RustApache-2.0Обновлён 9 часов назад
#tokenization
Open source проекты по теме «tokenization»
Отобранные репозитории GitHub по теме tokenization с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий