Kit de herramientas para cuantizar modelos de lenguaje grandes (GPTQ, AWQ, GGUF, FP8, EXL3 y más) y ejecutarlos en hardware NVIDIA, AMD, Intel, Apple y CPU.
1,3 mil+6 esta semana214PythonOtherActualizado ayer
huggingface/optimum-quanto
Backend de cuantización para PyTorch de Hugging Face Optimum, que cuantiza pesos y activaciones de int2 a float8.
- Estrellas
- 1,056
- Forks
- 100
- Issues abiertos
- 5
- Último commit
- hace 12 días
¿Qué es?
Optimum Quanto es un backend de cuantización para PyTorch que forma parte del ecosistema Hugging Face Optimum. Convierte modelos de punto flotante en versiones con menos bits y admite pesos int2, int4, int8 y float8, así como activaciones int8 y float8. Esto reduce la memoria del dispositivo aproximadamente en proporción al ancho de bits.
La biblioteca funciona en modo eager, por lo que puede manejar modelos que no se pueden trazar, y los modelos cuantizados pueden ejecutarse en CUDA, MPS y otros dispositivos. Incluye clases auxiliares para cuantizar y guardar LLMs de Hugging Face y componentes de pipelines de diffusers, además de una API de bajo nivel para modelos vanilla de PyTorch que cubre la cuantización, la calibración, el ajuste consciente de la cuantización, la congelación y la serialización mediante safetensors.
El proyecto está en modo de mantenimiento, por lo que solo se aceptan correcciones menores y cambios en la documentación. El README recomienda bitsandbytes y torchAO para trabajos de cuantización orientados a producción o en desarrollo activo. La compatibilidad con el compilador de Torch (dynamo) figura como aún no implementada.
Funciones clave
- 01Admite pesos int2, int4, int8 y float8, y activaciones int8 y float8.
- 02Funciona en modo eager, por lo que admite modelos que no se pueden trazar.
- 03Los modelos cuantizados pueden ejecutarse en CUDA, MPS y otros dispositivos.
- 04Incluye clases auxiliares para cuantizar, guardar y volver a cargar LLMs de Hugging Face y componentes de diffusers.
- 05Serializa en el formato pytorch weight_only y en safetensors.
Casos de uso
- Reducir el tamaño de LLMs grandes de Hugging Face para que quepan en la memoria limitada de una GPU.
- Cuantizar componentes transformer de diffusers, como PixArt, para generar imágenes usando menos memoria.
- Aplicar entrenamiento consciente de la cuantización a modelos vanilla de PyTorch mediante la API de bajo nivel.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es optimum-quanto?
- Backend de cuantización para PyTorch de Hugging Face Optimum, que cuantiza pesos y activaciones de int2 a float8. Optimum Quanto es un backend de cuantización para PyTorch que forma parte del ecosistema Hugging Face Optimum. Convierte modelos de punto flotante en versiones con menos bits y admite pesos int2, int4, int8 y float8, así como activaciones int8 y float8. Esto reduce la memoria del dispositivo aproximadamente en proporción al ancho de bits.
- ¿optimum-quanto es gratuito? ¿Qué licencia tiene?
- optimum-quanto es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿optimum-quanto sigue mantenido?
- Mantenimiento activo. El último commit de optimum-quanto fue el 26 oct 2026.
- ¿Para qué puedo usar optimum-quanto?
- Reducir el tamaño de LLMs grandes de Hugging Face para que quepan en la memoria limitada de una GPU. Cuantizar componentes transformer de diffusers, como PixArt, para generar imágenes usando menos memoria. Aplicar entrenamiento consciente de la cuantización a modelos vanilla de PyTorch mediante la API de bajo nivel.
- ¿Dónde consigo optimum-quanto?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/optimum-quanto
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
SliceGPT es un método de compresión posterior al entrenamiento que reduce modelos transformer, como los LLM, eliminando filas y columnas de las matrices de pesos.
466+2 esta semana59PythonMITActualizado hace 2 meses
Biblioteca Python de código abierto de Intel para comprimir modelos de deep learning mediante cuantización, sparsity y destilación en PyTorch, JAX y ONNX.
2,7 mil332PythonApache-2.0Actualizado ayer
Framework de Python para comprimir redes neuronales mediante cuantización, pruning y sparsity, y acelerar la inferencia en OpenVINO, PyTorch y ONNX.
1,2 mil+3 esta semana314PythonApache-2.0Bien mantenidoActualizado hace 24 horas
Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.
13,3 mil+23 esta semana1,3 milPythonApache-2.0Bien mantenidoActualizado anteayer
Motor de inferencia para PyTorch de Diffusion Transformers (DiTs) que añade caching, paralelismo, cuantización y descarga a CPU sobre Diffusers.
1,3 mil+5 esta semana93PythonApache-2.0Actualizado hace 20 horas