Um mecanismo de alto desempenho e fácil de usar para inferência e serving de LLMs, com um servidor de API compatível com OpenAI.
55246C++OtherAtualizado há 2 meses
#pagedattention
Projetos open source sobre “pagedattention”
Repositórios do GitHub selecionados relacionados a pagedattention, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório