Bibliotecas Rust e bindings para Python que convertem formatos de API de LLM em conversas DeepSeek e renderizam prompts.
1,3 mil116RustMITAtualizado há 21 horas
#tokenizer
Projetos open source sobre “tokenizer”
Repositórios do GitHub selecionados relacionados a tokenizer, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
2 repositórios
Um tokenizador BPE rápido para os modelos da OpenAI, usado para converter texto em tokens e vice-versa sem perda de informação.
19,5 mil1,7 milPythonMITAtualizado há 2 meses