Framework de Python para comprimir redes neuronales mediante cuantización, pruning y sparsity, y acelerar la inferencia en OpenVINO, PyTorch y ONNX.
1,2 mil309PythonApache-2.0Actualizado anteayer
intel/neural-compressor
Biblioteca Python de código abierto de Intel para comprimir modelos de deep learning mediante cuantización, sparsity y destilación en PyTorch, JAX y ONNX.
- Estrellas
- 2,722
- Forks
- 331
- Issues abiertos
- 30
- Último commit
- ayer
¿Qué es?
Intel Neural Compressor es una biblioteca Python para reducir el tamaño y acelerar modelos de deep learning. Ofrece métodos de cuantización postentrenamiento y con conciencia de cuantización, como la cuantización estática y dinámica, SmoothQuant, la cuantización solo de pesos, la precisión mixta y FP8, además de formatos de pocos bits como INT4, MXFP4 y NVFP4, orientados a modelos de lenguaje grandes y modelos de visión y lenguaje.
La biblioteca incluye extensiones para PyTorch y JAX, con una API al estilo de transformers para cargar y cuantizar modelos. La cuantización de LLM y VLM se integra con AutoRound. Entre los objetivos de hardware documentados se encuentran los aceleradores Intel Gaudi AI, Intel Core Ultra, los procesadores Xeon Scalable y las GPU Intel Data Center; también se han realizado pruebas limitadas en CPU AMD, CPU ARM y GPU NVIDIA.
El proyecto también incluye un módulo de ajuste automático que busca configuraciones de cuantización que cumplan un objetivo de precisión, y la documentación describe flujos de trabajo de cuantización solo de pesos al estilo de GPTQ y AWQ.
Funciones clave
- 01Cuantización estática, dinámica y solo de pesos para modelos de PyTorch y JAX
- 02Compatibilidad con SmoothQuant y el entrenamiento con conciencia de cuantización
- 03Formatos de baja precisión FP8, MXFP8/MXFP4 y NVFP4 (algunos experimentales)
- 04API similar a Transformers para cuantizar LLM y VLM mediante AutoRound
- 05Ajuste automático para encontrar configuraciones de cuantización que cumplan un objetivo de precisión
Casos de uso
- Reducir la memoria y la latencia de modelos de lenguaje grandes para inferencia en hardware Intel
- Cuantizar modelos de visión de PyTorch o JAX antes de implementarlos
- Aplicar cuantización FP8 en aceleradores Intel Gaudi
Inicio rápido
- 1
Instala el paquete de backend de PyTorch desde PyPI
pip install neural-compressor-pt - 2
Instala el paquete de backend de JAX desde PyPI (opcional)
pip install neural-compressor-jax - 3
Ejecuta el código de ejemplo de cuantización FP8 (requiere hardware Intel Gaudi2 o la imagen de Docker de Gaudi)
Antes de usarlo
- El ejemplo principal de inicio está pensado para hardware Intel Gaudi2, que la mayoría de los desarrolladores no tendrá.
- Algunas funciones son todavía experimentales, como NVFP4, MXFP8/MXFP4 y FP8 para Keras/JAX.
- La compatibilidad con CPU AMD, CPU ARM y GPU NVIDIA solo se ha probado de forma limitada.
- La configuración específica del hardware, como hacer coincidir las versiones del software de Gaudi, requiere más esfuerzo de instalación.
Temas
Preguntas frecuentes
- ¿Qué es neural-compressor?
- Biblioteca Python de código abierto de Intel para comprimir modelos de deep learning mediante cuantización, sparsity y destilación en PyTorch, JAX y ONNX. Intel Neural Compressor es una biblioteca Python para reducir el tamaño y acelerar modelos de deep learning. Ofrece métodos de cuantización postentrenamiento y con conciencia de cuantización, como la cuantización estática y dinámica, SmoothQuant, la cuantización solo de pesos, la precisión mixta y FP8, además de formatos de pocos bits como INT4, MXFP4 y NVFP4, orientados a modelos de lenguaje grandes y modelos de visión y lenguaje.
- ¿neural-compressor es gratuito? ¿Qué licencia tiene?
- neural-compressor es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿neural-compressor sigue mantenido?
- Mantenimiento activo. El último commit de neural-compressor fue el 20 oct 2026.
- ¿Para qué puedo usar neural-compressor?
- Reducir la memoria y la latencia de modelos de lenguaje grandes para inferencia en hardware Intel Cuantizar modelos de visión de PyTorch o JAX antes de implementarlos Aplicar cuantización FP8 en aceleradores Intel Gaudi
- ¿Cómo se instala neural-compressor?
- Instala el paquete de backend de PyTorch desde PyPI: pip install neural-compressor-pt Instala el paquete de backend de JAX desde PyPI (opcional): pip install neural-compressor-jax Ejecuta el código de ejemplo de cuantización FP8 (requiere hardware Intel Gaudi2 o la imagen de Docker de Gaudi)
- ¿Dónde consigo neural-compressor?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/intel/neural-compressor
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Toolkit de Intel para la cuantización postentrenamiento de LLM y VLM, que comprime los modelos con pesos de pocos bits para Transformers, vLLM y SGLang.
1,7 mil193PythonApache-2.0Actualizado hace 6 horas
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
58,8 mil8,2 milPythonMITActualizado el mes pasado
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
IA y Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Actualizado hace 9 horas
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado ayer