Biblioteca de tokenização de ponta e rápida, escrita em Rust, com bindings para Python e Node.js para pipelines de NLP e modelos de linguagem.
11,2 mil1,2 milRustApache-2.0Atualizado há 5 horas
#tokenization
Projetos open source sobre “tokenization”
Repositórios do GitHub selecionados relacionados a tokenization, com resumos de IA e métricas principais.