Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado há 10 horas
#attention
Projetos open source sobre “attention”
Repositórios do GitHub selecionados relacionados a attention, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
2 repositórios
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado há 5 horas