Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,1 mil2,2 milPythonApache-2.0Atualizado há 6 horas
#amd
Projetos open source sobre “amd”
Repositórios do GitHub selecionados relacionados a amd, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
2 repositórios
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado há 7 horas