Repolode
Предложить
vllm-project

vllm-project/llm-compressor

Python-библиотека для сжатия LLM с помощью квантования и прунинга, создающая чекпойнты, которые vLLM загружает напрямую для инференса.

Открыть на GitHubСайт
Звёзды
3,903
Форки
707
Открытые issues
124
Последний коммит
3 часа назад

Что это?

LLM Compressor — библиотека для оптимизации больших языковых моделей перед развёртыванием с помощью vLLM. Она квантирует веса, активации, KV-кэш и attention, а также позволяет применять прунинг экспертов REAP к моделям mixture-of-experts. Модели сохраняются в формате compressed-tensors, который vLLM загружает без дополнительной конвертации.

Библиотека работает с моделями и репозиториями Hugging Face. В ней реализовано несколько алгоритмов, включая простой PTQ с округлением до ближайшего значения, GPTQ, AWQ, SmoothQuant, AutoRound и методы на основе вращений, такие как SpinQuant и QuIP. Поддерживаются форматы точности от FP8, INT8 и микромасштабных форматов NVFP4/MXFP4 до схем с 4- и 8-битными весами.

Для очень больших моделей доступны квантование с DDP, последовательная подгрузка в память и выгрузка на диск, поэтому сжатие можно выполнять на ограниченном оборудовании. API сводится к одному вызову `oneshot`, которому передаётся recipe, что упрощает типовые сценарии.

Ключевые возможности

  • 01Квантование весов, активаций, KV-кэша и attention с форматами FP8, INT8, NVFP4 и MXFP4.
  • 02Алгоритмы GPTQ, AWQ, SmoothQuant, AutoRound и PTQ с округлением до ближайшего значения.
  • 03Создаёт чекпойнты в формате compressed-tensors, которые vLLM загружает напрямую.
  • 04Работает с моделями и репозиториями Hugging Face.
  • 05DDP, последовательная подгрузка в память и выгрузка на диск для сжатия очень больших моделей.
  • 06Прунинг экспертов REAP для моделей mixture-of-experts.

Сценарии использования

  • Уменьшение потребления VRAM моделью, чтобы запускать её для сервинга через vLLM на меньшем числе GPU.
  • Подготовка чекпойнтов FP4 или FP8 для новых моделей с открытыми весами, предназначенных для промышленного инференса.
  • Сжатие очень больших моделей на ограниченном оборудовании с помощью выгрузки на диск или DDP.
  • Эксперименты с различными алгоритмами и схемами квантования через recipe.

Темы

#llm#quantization#model-compression#vllm#inference#gptq#awq#fp8#compression

Частые вопросы

Что такое llm-compressor?
Python-библиотека для сжатия LLM с помощью квантования и прунинга, создающая чекпойнты, которые vLLM загружает напрямую для инференса. LLM Compressor — библиотека для оптимизации больших языковых моделей перед развёртыванием с помощью vLLM. Она квантирует веса, активации, KV-кэш и attention, а также позволяет применять прунинг экспертов REAP к моделям mixture-of-experts. Модели сохраняются в формате compressed-tensors, который vLLM загружает без дополнительной конвертации.
llm-compressor можно использовать бесплатно? Какая у него лицензия?
llm-compressor распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
llm-compressor всё ещё поддерживается?
Активно поддерживается. Последний коммит в llm-compressor — 22 окт. 2026 г..
Для чего можно использовать llm-compressor?
Уменьшение потребления VRAM моделью, чтобы запускать её для сервинга через vLLM на меньшем числе GPU. Подготовка чекпойнтов FP4 или FP8 для новых моделей с открытыми весами, предназначенных для промышленного инференса. Сжатие очень больших моделей на ограниченном оборудовании с помощью выгрузки на диск или DDP. Эксперименты с различными алгоритмами и схемами квантования через recipe.
Где скачать llm-compressor?
Исходный код и инструкции по установке — на GitHub: https://github.com/vllm-project/llm-compressor

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты