Biblioteca de Python de Microsoft que comprime prompts de LLM y la KV cache hasta 20 veces al eliminar tokens no esenciales, con una pérdida mínima de rendimiento.
6,8 mil444PythonMITActualizado el mes pasado
#inference-optimization
Proyectos open source sobre «inference-optimization»
Repositorios de GitHub seleccionados relacionados con inference-optimization, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
1 repositorio