Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,1 mil2,2 milPythonApache-2.0Actualizado hace 6 horas
#amd
Proyectos open source sobre «amd»
Repositorios de GitHub seleccionados relacionados con amd, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 7 horas