Biblioteca de tokenização rápida e de ponta, escrita em Rust, com bindings para Python e Node.js, para pipelines de NLP e modelos de linguagem.
11,2 mil1,2 milRustApache-2.0Atualizado há 15 horas
#tokenization
Projetos open source sobre “tokenization”
Repositórios do GitHub selecionados relacionados a tokenization, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório