facebookincubator/AITemplate

O que é?

Recursos principais

• 01Compila redes neurais fp16 em código C++ CUDA/HIP voltado a hardware TensorCore e MatrixCore.
• 02Aplica fusão horizontal, vertical e de memória de operadores para reduzir o número de lançamentos de kernels.
• 03Gera binários de modelos independentes, sem dependências de cuBLAS, cuDNN ou TensorRT.
• 04O runtime Python aceita tensores PyTorch diretamente, sem cópias adicionais.
• 05FX2AIT converte modelos PyTorch e acelera parcialmente operadores não compatíveis.

Casos de uso

• Servir modelos ResNet, BERT ou Vision Transformer em fp16 em GPUs NVIDIA da classe A100.
• Executar inferência do Stable Diffusion em GPUs AMD da série MI.
• Acelerar modelos PyTorch que contêm alguns operadores não compatíveis com AIT.

Início rápido

1. 1

   Clone o repositório com seus submódulos

   git clone --recursive https://github.com/facebookincubator/AITemplate
2. 2

   Acesse o diretório python

   cd python
3. 3

   Compile o wheel do Python

   python setup.py bdist_wheel
4. 4

   Instale o wheel compilado

   pip install dist/*.whl --force-reinstall

Antes de usar

• !O suporte a NVIDIA só foi testado em GPUs SM80+, como as Ampere. GPUs T4 ou V100 mais antigas podem não funcionar com todos os kernels.
• !O suporte a AMD só foi testado em GPUs CDNA2 (MI-210/250). GPUs CDNA1 mais antigas podem apresentar problemas com o compilador.
• !Para compilar a partir do código-fonte, é necessário usar o compilador CUDA ou ROCm correto, pois um compilador inadequado causa perda de desempenho.

Em coleções

Tópicos

Perguntas frequentes

O que é AITemplate?

Framework Python que compila redes neurais profundas em código C++ CUDA/HIP fp16 para inferência rápida em GPUs NVIDIA e AMD. AITemplate (AIT) é um framework Python que converte redes neurais profundas em código C++ CUDA (NVIDIA) ou HIP (AMD) para servir inferências. Ele é voltado a cargas de trabalho fp16 em hardware TensorCore e MatrixCore, e o projeto lista ResNet, MaskRCNN, BERT, Vision Transformer e Stable Diffusion entre os modelos compatíveis.

AITemplate é gratuito? Qual é a licença?

AITemplate é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

AITemplate ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de AITemplate foi em 7 de out. de 2026.

Para que posso usar AITemplate?

Servir modelos ResNet, BERT ou Vision Transformer em fp16 em GPUs NVIDIA da classe A100. Executar inferência do Stable Diffusion em GPUs AMD da série MI. Acelerar modelos PyTorch que contêm alguns operadores não compatíveis com AIT.

Como instalar AITemplate?

Clone o repositório com seus submódulos: git clone --recursive https://github.com/facebookincubator/AITemplate Acesse o diretório python: cd python Compile o wheel do Python: python setup.py bdist_wheel Instale o wheel compilado: pip install dist/*.whl --force-reinstall

Onde consigo AITemplate?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/facebookincubator/AITemplate