Repolode
Предложить
intel

intel/auto-round

Набор инструментов Intel для посттренировочной квантизации LLM и VLM, который сжимает модели до низкой разрядности весов для Transformers, vLLM и SGLang.

Открыть на GitHub
Звёзды
1,684
Форки
193
Открытые issues
109
Последний коммит
4 часа назад

Что это?

AutoRound — набор инструментов для посттренировочной квантизации больших языковых и визуально-языковых моделей. Он использует оптимизацию округления весов на основе знака градиента (подход SignRound), чтобы сохранять точность при низкой разрядности, а также предлагает генератор адаптивных схем с разной разрядностью под названием AutoScheme.

Поддерживаются схемы только для весов, например W4A16, W2A16 и W8A16, а также типы данных MXFP4, NVFP4 и FP8. Экспортировать модели можно в собственный формат auto_round, а также в AutoAWQ, AutoGPTQ, llm-compressor и GGUF. Квантизованные модели можно загружать в Transformers, vLLM и SGLang. Проект рассчитан на процессоры и XPU Intel, ускорители Gaudi и GPU NVIDIA.

Пользователи выбирают готовый рецепт — от быстрых режимов в стиле RTN до вариантов с более высокой точностью — и запускают квантизацию через CLI или Python API, настраивая калибровочные датасеты, число итераций и параметры памяти.

Ключевые возможности

  • 01Квантизация только весов с разрядностью от W2 до W8, а также поддержка типов MXFP4, NVFP4 и FP8.
  • 02Экспорт в форматы auto_round, AutoAWQ, AutoGPTQ, llm-compressor и GGUF.
  • 03AutoScheme генерирует рецепты квантизации с разной разрядностью под заданную целевую среднюю разрядность.
  • 04Поддержка квантизации текстового модуля визуально-языковых моделей.
  • 05Квантизация на нескольких GPU и выбор калибровочных датасетов.

Сценарии использования

  • Сжатие LLM размером от 7B до 70B до 4-битных весов, чтобы снизить стоимость инференса на одном GPU.
  • Подготовка квантизованных чекпойнтов для запуска через vLLM или SGLang.
  • Создание файлов GGUF для сред выполнения, совместимых с llama.cpp.
  • Эксперименты со схемами смешанной точности, чтобы уложиться в заданный бюджет памяти.

Быстрый старт

  1. 1

    Установите auto-round из PyPI (CPU/CUDA)

    pip install auto-round
  2. 2

    Квантуйте модель с помощью CLI

    auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

Что важно знать

  • Некоторые функции экспериментальные, например композиция алгоритмов и схема MXFP4, для которой нет реальных ядер.
  • В примечаниях к недавним выпускам указано, что некоторые оптимизации могут привести к регрессиям или проблемам.
  • Рецепты с максимальной точностью работают в несколько раз медленнее, чем вариант по умолчанию.

Темы

#quantization#llm#vlm#int4#post-training-quantization#transformers#vllm#deep-learning#diffusers#gguf

Частые вопросы

Что такое auto-round?
Набор инструментов Intel для посттренировочной квантизации LLM и VLM, который сжимает модели до низкой разрядности весов для Transformers, vLLM и SGLang. AutoRound — набор инструментов для посттренировочной квантизации больших языковых и визуально-языковых моделей. Он использует оптимизацию округления весов на основе знака градиента (подход SignRound), чтобы сохранять точность при низкой разрядности, а также предлагает генератор адаптивных схем с разной разрядностью под названием AutoScheme.
auto-round можно использовать бесплатно? Какая у него лицензия?
auto-round распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
auto-round всё ещё поддерживается?
Активно поддерживается. Последний коммит в auto-round — 21 окт. 2026 г..
Для чего можно использовать auto-round?
Сжатие LLM размером от 7B до 70B до 4-битных весов, чтобы снизить стоимость инференса на одном GPU. Подготовка квантизованных чекпойнтов для запуска через vLLM или SGLang. Создание файлов GGUF для сред выполнения, совместимых с llama.cpp. Эксперименты со схемами смешанной точности, чтобы уложиться в заданный бюджет памяти.
Как установить auto-round?
Установите auto-round из PyPI (CPU/CUDA): pip install auto-round Квантуйте модель с помощью CLI: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround
Где скачать auto-round?
Исходный код и инструкции по установке — на GitHub: https://github.com/intel/auto-round

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты