Kernels Triton eficientes para GPUs, voltados ao treinamento de LLMs, que fundem camadas e funções de perda comuns para reduzir o uso de memória e aumentar a vazão.
6,7 mil627PythonBSD-2-ClauseAtualizado há 2 horas
flagos-ai/FlagGems
Biblioteca de operadores com kernels de LLM compatíveis com PyTorch, escritos em Triton e projetados para funcionar em diferentes aceleradores de IA.
- Estrelas
- 1,160
- Forks
- 588
- Issues abertas
- 1,113
- Último commit
- há 2 horas
O que é?
FlagGems é uma biblioteca de operadores para modelos de linguagem grandes, implementada na linguagem Triton. Ela oferece uma coleção de kernels independentes de backend para acelerar o treinamento e a inferência de LLMs em diferentes plataformas de hardware. Faz parte da stack de software de sistema FlagOS.
FlagGems se integra ao backend ATen do PyTorch, permitindo que o código existente continue usando APIs conhecidas enquanto os operadores são executados em kernels Triton. O projeto oferece um amplo conjunto de operadores compatíveis com PyTorch, kernels otimizados manualmente para operadores selecionados e geração automática de código para operadores ponto a ponto. Funciona em modo eager e não depende de torch.compile.
A biblioteca inclui uma interface multi-backend para diferentes tipos de hardware e lista suporte a mais de dez backends. O README cita Bert-base-uncased, Llama-2-7b e Llava-1.5-7b como modelos de exemplo usados nos testes.
Recursos principais
- 01Amplo conjunto de operadores compatíveis com PyTorch
- 02Kernels otimizados manualmente para operadores selecionados
- 03Suporte ao modo eager, sem depender de torch.compile
- 04Geração automática de código para operadores ponto a ponto
- 05Interface multi-backend compatível com mais de dez backends de hardware
Casos de uso
- Executar treinamento ou inferência de LLMs em aceleradores de IA que não sejam da NVIDIA sem reescrever o código PyTorch
- Portar workloads PyTorch entre diferentes stacks de software para chips
- Escrever ou comparar o desempenho de kernels Triton com um conjunto de operadores PyTorch
Tópicos
Perguntas frequentes
- O que é FlagGems?
- Biblioteca de operadores com kernels de LLM compatíveis com PyTorch, escritos em Triton e projetados para funcionar em diferentes aceleradores de IA. FlagGems é uma biblioteca de operadores para modelos de linguagem grandes, implementada na linguagem Triton. Ela oferece uma coleção de kernels independentes de backend para acelerar o treinamento e a inferência de LLMs em diferentes plataformas de hardware. Faz parte da stack de software de sistema FlagOS.
- FlagGems é gratuito? Qual é a licença?
- FlagGems é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- FlagGems ainda é mantido?
- Manutenção ativa. O último commit de FlagGems foi em 22 de out. de 2026.
- Para que posso usar FlagGems?
- Executar treinamento ou inferência de LLMs em aceleradores de IA que não sejam da NVIDIA sem reescrever o código PyTorch Portar workloads PyTorch entre diferentes stacks de software para chips Escrever ou comparar o desempenho de kernels Triton com um conjunto de operadores PyTorch
- Onde consigo FlagGems?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/flagos-ai/FlagGems
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Kernels baseados em Triton e camadas prontas para treinamento para arquiteturas de atenção linear, atenção esparsa, espaço de estados e LLMs híbridos.
IA e Machine Learning#linear-attention#triton#large-language-models#sequence-modeling#state-space-models
6 mil779PythonMITAtualizado há 12 horas
Acelerador multiplataforma para executar modelos de ML exportados no formato ONNX, com suporte ao treinamento de scripts do PyTorch.
22,1 mil4,4 milC++MITAtualizado há 2 horas
Modelos de linguagem open-weight gpt-oss-120b e gpt-oss-20b da OpenAI, com código de referência para inferência, ferramentas e clientes.
20,5 mil2,2 milPythonApache-2.0Atualizado há 10 dias
Caderno pessoal de estudos e engenharia com kernels CUDA escritos à mão, exemplos de CUTLASS/CuTe e Triton e notas sobre otimização de LLMs.
3,3 mil297CudaSem licençaAtualizado há 11 dias
Framework para definir modelos de ponta em machine learning para texto, visão, áudio e tarefas multimodais, voltado a inferência e treinamento.
168 mil34,9 milPythonApache-2.0Atualizado há 4 horas