Librerías de Rust y bindings de Python que convierten formatos de API de LLM en conversaciones de DeepSeek y generan prompts.
1,3 mil116RustMITActualizado hace 21 horas
#tokenizer
Proyectos open source sobre «tokenizer»
Repositorios de GitHub seleccionados relacionados con tokenizer, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Un tokenizador BPE rápido para los modelos de OpenAI, que convierte texto en tokens y lo reconstruye sin pérdida.
19,5 mil1,7 milPythonMITActualizado hace 2 meses