Инструментарий для квантования больших языковых моделей (GPTQ, AWQ, GGUF, FP8, EXL3 и другие) и запуска на оборудовании NVIDIA, AMD, Intel, Apple и CPU.
1,3 тыс.+6 за неделю214PythonOtherОбновлён вчера
huggingface/optimum-quanto
Бэкенд квантования для PyTorch в Hugging Face Optimum: квантование весов и активаций модели в диапазоне от int2 до float8.
- Звёзды
- 1,056
- Форки
- 100
- Открытые issues
- 5
- Последний коммит
- 12 дней назад
Что это?
Optimum Quanto — бэкенд квантования для PyTorch, входящий в экосистему Hugging Face Optimum. Он преобразует модели с плавающей точкой в версии с меньшей разрядностью: поддерживает веса int2, int4, int8 и float8, а также активации int8 и float8. Это позволяет сократить использование памяти устройства примерно пропорционально разрядности.
Библиотека работает в eager mode, поэтому поддерживает модели, которые нельзя трассировать, а квантованные модели можно запускать на CUDA, MPS и других устройствах. В ней есть вспомогательные классы для квантования и сохранения LLM от Hugging Face и компонентов конвейеров diffusers, а также низкоуровневый API для обычных моделей PyTorch, охватывающий квантование, калибровку, настройку с учётом квантования, фиксацию параметров и сериализацию с помощью safetensors.
Проект находится в режиме поддержки: принимаются только небольшие исправления и изменения документации. В README для задач квантования, ориентированных на продакшен или активно развиваемых, рекомендуются bitsandbytes и torchAO. Совместимость с компилятором Torch (dynamo) пока не реализована.
Ключевые возможности
- 01Поддерживает веса int2, int4, int8 и float8, а также активации int8 и float8.
- 02Работает в eager mode и поддерживает модели, которые нельзя трассировать.
- 03Квантованные модели можно запускать на CUDA, MPS и других устройствах.
- 04Предоставляет вспомогательные классы для квантования, сохранения и повторной загрузки LLM от Hugging Face и компонентов diffusers.
- 05Поддерживает сериализацию в формат pytorch weight_only и safetensors.
Сценарии использования
- Уменьшение больших LLM от Hugging Face, чтобы они помещались в ограниченную память GPU.
- Квантование компонентов-трансформеров diffusers, например PixArt, для генерации изображений с меньшим расходом памяти.
- Применение квантования с учётом обучения к обычным моделям PyTorch через низкоуровневый API.
В подборках
Темы
Частые вопросы
- Что такое optimum-quanto?
- Бэкенд квантования для PyTorch в Hugging Face Optimum: квантование весов и активаций модели в диапазоне от int2 до float8. Optimum Quanto — бэкенд квантования для PyTorch, входящий в экосистему Hugging Face Optimum. Он преобразует модели с плавающей точкой в версии с меньшей разрядностью: поддерживает веса int2, int4, int8 и float8, а также активации int8 и float8. Это позволяет сократить использование памяти устройства примерно пропорционально разрядности.
- optimum-quanto можно использовать бесплатно? Какая у него лицензия?
- optimum-quanto распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- optimum-quanto всё ещё поддерживается?
- Активно поддерживается. Последний коммит в optimum-quanto — 26 окт. 2026 г..
- Для чего можно использовать optimum-quanto?
- Уменьшение больших LLM от Hugging Face, чтобы они помещались в ограниченную память GPU. Квантование компонентов-трансформеров diffusers, например PixArt, для генерации изображений с меньшим расходом памяти. Применение квантования с учётом обучения к обычным моделям PyTorch через низкоуровневый API.
- Где скачать optimum-quanto?
- Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/optimum-quanto
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
SliceGPT сжимает трансформерные модели, включая LLM, после обучения, удаляя строки и столбцы матриц весов.
466+2 за неделю59PythonMITОбновлён 2 месяца назад
Открытая Python-библиотека Intel для сжатия моделей глубокого обучения с помощью квантования, разреживания и дистилляции в PyTorch, JAX и ONNX.
2,7 тыс.332PythonApache-2.0Обновлён позавчера
Python-фреймворк для сжатия нейросетей с помощью квантования, прореживания и разреживания, ускоряющий инференс в OpenVINO, PyTorch и ONNX.
1,2 тыс.+3 за неделю314PythonApache-2.0Активно поддерживаетсяОбновлён вчера
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
13,3 тыс.+23 за неделю1,3 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён позавчера
PyTorch-движок инференса для Diffusion Transformers (DiT), который ускоряет работу Diffusers за счёт кэширования, параллелизма, квантования и выгрузки на CPU.
1,3 тыс.+5 за неделю93PythonApache-2.0Обновлён 23 часа назад