Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,3 mil+27 esta semana3,2 milPythonBSD-3-ClauseAtualizado há 14 horas
microsoft/antares
AutoRT é uma ferramenta de compilação que ajuda desenvolvedores a criar, testar e otimizar operadores PyTorch para seus próprios aceleradores.
- Estrelas
- 470
- Forks
- 51
- Issues abertas
- 12
- Último commit
- há 15 dias
O que é?
AutoRT, a próxima geração do projeto Antares da Microsoft, é uma solução de compilação para quem desenvolve em runtime e quer escrever, testar e ajustar operadores PyTorch para seus próprios aceleradores. Os kernels são escritos como corpos de funções em CUDA ou HIP C++, com um pequeno cabeçalho que declara as dimensões dos tensores de entrada e saída e os parâmetros de lançamento.
O projeto oferece a ferramenta de linha de comando autort. Um kernel básico é definido inline com uma assinatura de função, declarações das dimensões e um corpo que usa blockIdx e threadIdx; o AutoRT compila e executa esse kernel. O repositório também inclui um guia SKILLS.md voltado a agentes de IA que precisam escrever esse tipo de kernel.
Os ambientes recomendados são imagens Docker para CUDA (Ubuntu 24.04 com CUDA 12.8) e ROCm (Ubuntu 24.04 com ROCm 7.2.4). A documentação anterior, sobre procedimentos manuais e versões legadas, é mantida como referência, mas está marcada como obsoleta.
Recursos principais
- 01Permite escrever kernels de operadores PyTorch com sintaxe CUDA ou HIP C++.
- 02Oferece a ferramenta de linha de comando autort, que compila e executa definições de kernels inline.
- 03Permite declarar as dimensões dos tensores e os parâmetros de lançamento em um cabeçalho curto.
- 04Inclui um guia SKILLS.md para agentes de IA que escrevem kernels.
- 05Oferece configurações Docker para ambientes CUDA e ROCm.
Casos de uso
- Prototipar um operador PyTorch personalizado em GPUs NVIDIA.
- Fazer o port ou ajustar operadores para GPUs AMD usando ROCm.
- Permitir que um agente de IA gere e teste kernels para aceleradores.
Início rápido
- 1
Configure a imagem Docker recomendada para CUDA ou ROCm
- 2
Execute o exemplo Hello World com o comando autort
autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
Antes de usar
- O README não fornece um comando de instalação por gerenciador de pacotes; por isso, a configuração depende das imagens Docker recomendadas.
- É necessário um ambiente com acelerador CUDA ou ROCm.
- O README indica um manual descontinuado e documentação legada para versões anteriores.
Em coleções
Tópicos
Perguntas frequentes
- O que é antares?
- AutoRT é uma ferramenta de compilação que ajuda desenvolvedores a criar, testar e otimizar operadores PyTorch para seus próprios aceleradores. AutoRT, a próxima geração do projeto Antares da Microsoft, é uma solução de compilação para quem desenvolve em runtime e quer escrever, testar e ajustar operadores PyTorch para seus próprios aceleradores. Os kernels são escritos como corpos de funções em CUDA ou HIP C++, com um pequeno cabeçalho que declara as dimensões dos tensores de entrada e saída e os parâmetros de lançamento.
- antares é gratuito? Qual é a licença?
- antares é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- antares ainda é mantido?
- Manutenção ativa. O último commit de antares foi em 23 de out. de 2026.
- Para que posso usar antares?
- Prototipar um operador PyTorch personalizado em GPUs NVIDIA. Fazer o port ou ajustar operadores para GPUs AMD usando ROCm. Permitir que um agente de IA gere e teste kernels para aceleradores.
- Como instalar antares?
- Configure a imagem Docker recomendada para CUDA ou ROCm Execute o exemplo Hello World com o comando autort: autort -n hello_world_example --source=' @DEF_FUNC: input:float32[B, M] -> output:float32[B, M] @DEF_BIND: ~B~:1, ~%~:1024 void main() { if (int(blockIdx.x) == 0 && int(threadIdx.x) == 0) printf("(autort) Hello World!\n"); }'
- Onde consigo antares?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/antares
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework Python que compila redes neurais profundas em código C++ CUDA/HIP fp16 para inferência rápida em GPUs NVIDIA e AMD.
4,7 mil+4 esta semana387PythonApache-2.0Atualizado mês passado
Servidor de inferência de LLM em C++ para GPUs de consumo e máquinas com AMD e NVIDIA, usando speculative decoding, speculative prefill e kernels personalizados.
3 mil+12 esta semana290C++Apache-2.0Bem mantidoAtualizado há 16 horas
Biblioteca de arrays compatível com NumPy/SciPy que executa código Python existente em GPUs NVIDIA CUDA ou AMD ROCm.
12,4 mil+10 esta semana1,2 milPythonMITAtualizado anteontem
Linguagem e compilador para escrever kernels de GPU personalizados e altamente eficientes para deep learning em código semelhante a Python, com mais produtividade que CUDA.
20,5 mil+37 esta semana3,4 milMLIRMITBem mantidoAtualizado há 14 horas
Um compilador e runtime baseado em MLIR que reduz modelos de ML a uma IR unificada para implantação em datacenters, dispositivos móveis e de edge.
4 mil+5 esta semana1,1 milC++Apache-2.0Atualizado há 17 horas