Repolode
Enviar
intel

intel/auto-round

Toolkit de Intel para la cuantización postentrenamiento de LLM y VLM, que comprime los modelos con pesos de pocos bits para Transformers, vLLM y SGLang.

Ver en GitHub
Estrellas
1,684
Forks
193
Issues abiertos
109
Último commit
hace 6 horas

¿Qué es?

AutoRound es un toolkit de cuantización postentrenamiento para modelos de lenguaje grandes y modelos de visión y lenguaje. Utiliza optimización de redondeo de pesos mediante gradientes con signo (el enfoque SignRound) para mantener la precisión con anchos de bit bajos, y también ofrece un generador adaptativo de esquemas mixtos de bits llamado AutoScheme.

Admite esquemas que cuantizan solo los pesos, como W4A16, W2A16 y W8A16, además de los tipos de datos MXFP4, NVFP4 y FP8. Permite exportar al formato propio auto_round y también a AutoAWQ, AutoGPTQ, llm-compressor y GGUF. Los modelos cuantizados se pueden cargar en Transformers, vLLM y SGLang, y el proyecto está orientado a CPU y XPU de Intel, aceleradores Gaudi y GPU de NVIDIA.

Los usuarios pueden elegir desde recetas rápidas de estilo RTN hasta una configuración de mayor precisión, y ejecutarlas desde la CLI o la API de Python con opciones configurables para los conjuntos de datos de calibración, las iteraciones y la memoria.

Funciones clave

  • 01Cuantización que afecta solo a los pesos, con anchos de 2 a 8 bits, además de los tipos MXFP4, NVFP4 y FP8.
  • 02Exportación a los formatos auto_round, AutoAWQ, AutoGPTQ, llm-compressor y GGUF.
  • 03AutoScheme genera recetas de cuantización mixta de bits ajustadas a un ancho de bits promedio objetivo.
  • 04Permite cuantizar el módulo de texto de los modelos de visión y lenguaje.
  • 05Cuantización con varias GPU y selección de conjuntos de datos de calibración.

Casos de uso

  • Reducir un LLM de 7B-70B a pesos de 4 bits para abaratar la inferencia en una sola GPU.
  • Preparar checkpoints cuantizados para servirlos mediante vLLM o SGLang.
  • Generar archivos GGUF para entornos de ejecución compatibles con llama.cpp.
  • Probar recetas de precisión mixta para ajustarse a un presupuesto de memoria.

Inicio rápido

  1. 1

    Instala auto-round desde PyPI (CPU/CUDA)

    pip install auto-round
  2. 2

    Cuantiza un modelo con la CLI

    auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

Antes de usarlo

  • Algunas funciones son experimentales, como la composición de algoritmos y el esquema MXFP4, que no cuenta con kernels reales.
  • Las versiones recientes indican que algunas optimizaciones pueden causar regresiones o problemas.
  • Las recetas de máxima precisión son varias veces más lentas que la opción predeterminada.

Temas

#quantization#llm#vlm#int4#post-training-quantization#transformers#vllm#deep-learning#diffusers#gguf

Preguntas frecuentes

¿Qué es auto-round?
Toolkit de Intel para la cuantización postentrenamiento de LLM y VLM, que comprime los modelos con pesos de pocos bits para Transformers, vLLM y SGLang. AutoRound es un toolkit de cuantización postentrenamiento para modelos de lenguaje grandes y modelos de visión y lenguaje. Utiliza optimización de redondeo de pesos mediante gradientes con signo (el enfoque SignRound) para mantener la precisión con anchos de bit bajos, y también ofrece un generador adaptativo de esquemas mixtos de bits llamado AutoScheme.
¿auto-round es gratuito? ¿Qué licencia tiene?
auto-round es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿auto-round sigue mantenido?
Mantenimiento activo. El último commit de auto-round fue el 21 oct 2026.
¿Para qué puedo usar auto-round?
Reducir un LLM de 7B-70B a pesos de 4 bits para abaratar la inferencia en una sola GPU. Preparar checkpoints cuantizados para servirlos mediante vLLM o SGLang. Generar archivos GGUF para entornos de ejecución compatibles con llama.cpp. Probar recetas de precisión mixta para ajustarse a un presupuesto de memoria.
¿Cómo se instala auto-round?
Instala auto-round desde PyPI (CPU/CUDA): pip install auto-round Cuantiza un modelo con la CLI: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround
¿Dónde consigo auto-round?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/intel/auto-round

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados