facebookincubator/AITemplate

¿Qué es?

Funciones clave

• 01Compila redes neuronales fp16 en código C++ CUDA/HIP para hardware TensorCore y MatrixCore.
• 02Aplica fusión horizontal, vertical y de memoria para reducir los lanzamientos de kernels.
• 03Genera binarios de modelos autónomos, sin dependencias de cuBLAS, cuDNN ni TensorRT.
• 04El runtime de Python acepta tensores de PyTorch directamente, sin copias adicionales.
• 05FX2AIT convierte modelos de PyTorch y acelera parcialmente los operadores no compatibles.

Casos de uso

• Servir modelos ResNet, BERT o Vision Transformer en fp16 en GPU de la clase NVIDIA A100.
• Ejecutar inferencias de Stable Diffusion en GPU de la serie AMD MI.
• Acelerar modelos de PyTorch que contienen algunos operadores no compatibles con AIT.

Inicio rápido

1. 1

   Clona el repositorio con sus submódulos

   git clone --recursive https://github.com/facebookincubator/AITemplate
2. 2

   Ve al directorio python

   cd python
3. 3

   Compila el wheel de Python

   python setup.py bdist_wheel
4. 4

   Instala el wheel compilado

   pip install dist/*.whl --force-reinstall

Antes de usarlo

• !La compatibilidad con NVIDIA solo se ha probado en GPU SM80+, como Ampere. Es posible que algunas kernels no funcionen en GPU T4 o V100 más antiguas.
• !La compatibilidad con AMD solo se ha probado en GPU CDNA2 (MI-210/250). Las GPU CDNA1 más antiguas pueden presentar problemas con el compilador.
• !Para compilar desde el código fuente se necesita el compilador CUDA o ROCm adecuado, ya que usar uno incorrecto provoca una pérdida de rendimiento.

En colecciones

Temas

Preguntas frecuentes

¿Qué es AITemplate?

Framework de Python que compila redes neuronales profundas en código C++ CUDA/HIP fp16 para inferencias rápidas en GPU de NVIDIA y AMD. AITemplate (AIT) es un framework de Python que convierte redes neuronales profundas en código C++ CUDA (NVIDIA) o HIP (AMD) para servir inferencias. Está orientado a cargas de trabajo fp16 en hardware TensorCore y MatrixCore, y el proyecto incluye entre los modelos que admite ResNet, MaskRCNN, BERT, Vision Transformer y Stable Diffusion.

¿AITemplate es gratuito? ¿Qué licencia tiene?

AITemplate es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿AITemplate sigue mantenido?

Actualizado en los últimos 6 meses. El último commit de AITemplate fue el 7 oct 2026.

¿Para qué puedo usar AITemplate?

Servir modelos ResNet, BERT o Vision Transformer en fp16 en GPU de la clase NVIDIA A100. Ejecutar inferencias de Stable Diffusion en GPU de la serie AMD MI. Acelerar modelos de PyTorch que contienen algunos operadores no compatibles con AIT.

¿Cómo se instala AITemplate?

Clona el repositorio con sus submódulos: git clone --recursive https://github.com/facebookincubator/AITemplate Ve al directorio python: cd python Compila el wheel de Python: python setup.py bdist_wheel Instala el wheel compilado: pip install dist/*.whl --force-reinstall

¿Dónde consigo AITemplate?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/facebookincubator/AITemplate