pytorch/ao

¿Qué es?

Funciones clave

• 01Cuantización int4, int8 y float8 de pesos y activaciones para inferencia.
• 02Recetas de entrenamiento con cuantización consciente (QAT) que recuperan la precisión perdida tras la cuantización.
• 03Compatibilidad con entrenamiento float8 y MXFP8, junto con torch.compile y FSDP2.
• 04Optimizadores cuantizados (AdamW de 8 bits, 4 bits y fp8) y offloading de CPU desde una sola GPU para reducir el uso de memoria.
• 05Integraciones con Hugging Face transformers, diffusers, vLLM, SGLang y ExecuTorch.

Casos de uso

• Servir un modelo de lenguaje grande con pesos int4 o float8 para reducir el uso de memoria de la GPU y la latencia.
• Ajustar un modelo cuantizado con QAT para limitar la pérdida de precisión en inferencia de baja precisión.
• Ejecutar el preentrenamiento float8 de modelos transformer grandes en clústeres con varias GPU.
• Desplegar un modelo cuantizado en un dispositivo móvil o edge mediante ExecuTorch.

Inicio rápido

1. 1

   Instala la última versión estable de TorchAO desde PyPI

   pip install torchao
2. 2

   Cuantiza los pesos del modelo a int4 con quantize_ (sustituye model por tu modelo de PyTorch)

   quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

Antes de usarlo

• !Algunos kernels opcionales y funciones de entrenamiento requieren paquetes adicionales y compilaciones específicas de CUDA.
• !Las funciones de entrenamiento Float8 y MoE dependen de hardware GPU específico.

Temas

Preguntas frecuentes

¿Qué es ao?

Biblioteca nativa de PyTorch para cuantización, sparsity y entrenamiento float8, tanto para entrenar modelos como para servir inferencias. TorchAO es una biblioteca de cuantización y optimización de modelos creada directamente sobre PyTorch. Ofrece cuantización de solo pesos y dinámica (incluidos int4, int8 y float8), entrenamiento con cuantización consciente (QAT), recetas de entrenamiento float8 y MXFP8, sparsity y optimizadores cuantizados que reducen el uso de memoria del optimizador.

¿ao es gratuito? ¿Qué licencia tiene?

ao es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿ao sigue mantenido?

Mantenimiento activo. El último commit de ao fue el 19 oct 2026.

¿Para qué puedo usar ao?

Servir un modelo de lenguaje grande con pesos int4 o float8 para reducir el uso de memoria de la GPU y la latencia. Ajustar un modelo cuantizado con QAT para limitar la pérdida de precisión en inferencia de baja precisión. Ejecutar el preentrenamiento float8 de modelos transformer grandes en clústeres con varias GPU. Desplegar un modelo cuantizado en un dispositivo móvil o edge mediante ExecuTorch.

¿Cómo se instala ao?

Instala la última versión estable de TorchAO desde PyPI: pip install torchao Cuantiza los pesos del modelo a int4 con quantize_ (sustituye model por tu modelo de PyTorch): quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

¿Dónde consigo ao?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/pytorch/ao