Repolode
Предложить
ModelCloud

ModelCloud/GPTQModel

Инструментарий для квантования больших языковых моделей (GPTQ, AWQ, GGUF, FP8, EXL3 и другие) и запуска на оборудовании NVIDIA, AMD, Intel, Apple и CPU.

Открыть на GitHubСайт
Звёзды
1,289
Форки
214
Открытые issues
11
Последний коммит
23 часа назад

Что это?

GPTQModel — Python-платформа для сжатия больших языковых моделей с помощью квантования. Она предоставляет единый API для калибровки, квантования, оценки качества, сохранения, повторной загрузки и ускоренного инференса, поддерживая такие методы, как GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ и GPTAQ.

Квантованные модели можно загружать через Hugging Face Transformers, Optimum и PEFT, а запускать — через vLLM или SGLang. В проекте заявлена поддержка ядер для NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU, Intel XPU, Apple Silicon (MPS и MLX), а также CPU Intel, AMD и Apple. Пользователи могут задавать разные параметры квантования для отдельных слоёв, исключать модули и продолжать прерванные задачи квантования с контрольных точек на уровне слоёв.

Пакет устанавливается через pip и предоставляет конечную точку для запуска, совместимую с OpenAI API. Поддерживаются многие архитектуры Llama, Qwen, Gemma, Mistral, DeepSeek и моделей, работающих с изображениями и текстом.

Ключевые возможности

  • 01Поддерживает GPTQ, AWQ, GGUF, FP8, EXL3, QQQ, VPTQ и другие методы квантования через единый API.
  • 02Загружает квантованные чекпойнты в Transformers и запускает их через vLLM или SGLang.
  • 03Работает на платформах NVIDIA, AMD, Huawei Ascend, Intel XPU, Apple Silicon и CPU.
  • 04Позволяет задавать параметры квантования для отдельных модулей и исключать конкретные слои.
  • 05Возобновляет длительные задачи квантования с контрольных точек на уровне слоёв.
  • 06Предоставляет конечную точку API, совместимую с OpenAI, для загруженной модели.

Сценарии использования

  • Сжать модель Llama или Qwen, чтобы она занимала меньше видеопамяти.
  • Подготовить квантованные чекпойнты для развёртывания с vLLM или SGLang.
  • Квантовать модели на Apple Silicon в формате MLX.
  • Экспериментировать со схемами квантования со смешанной точностью или настройками для отдельных слоёв.

Что важно знать

  • В метаданных лицензии указано NOASSERTION, поэтому перед использованием проверьте лицензию непосредственно в репозитории.
  • Для некоторых функций требуется определённое оборудование, например NVIDIA SM89+ или GB10 для экспериментального пути W4A.
  • В последних выпусках несколько API были удалены или изменены, поэтому может потребоваться миграция существующего кода.

Темы

#llm#quantization#gptq#awq#model-compression#inference#gguf#pytorch#optimum#peft

Частые вопросы

Что такое GPTQModel?
Инструментарий для квантования больших языковых моделей (GPTQ, AWQ, GGUF, FP8, EXL3 и другие) и запуска на оборудовании NVIDIA, AMD, Intel, Apple и CPU. GPTQModel — Python-платформа для сжатия больших языковых моделей с помощью квантования. Она предоставляет единый API для калибровки, квантования, оценки качества, сохранения, повторной загрузки и ускоренного инференса, поддерживая такие методы, как GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ и GPTAQ.
GPTQModel можно использовать бесплатно? Какая у него лицензия?
GPTQModel распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
GPTQModel всё ещё поддерживается?
Активно поддерживается. Последний коммит в GPTQModel — 6 нояб. 2026 г..
Для чего можно использовать GPTQModel?
Сжать модель Llama или Qwen, чтобы она занимала меньше видеопамяти. Подготовить квантованные чекпойнты для развёртывания с vLLM или SGLang. Квантовать модели на Apple Silicon в формате MLX. Экспериментировать со схемами квантования со смешанной точностью или настройками для отдельных слоёв.
Где скачать GPTQModel?
Исходный код и инструкции по установке — на GitHub: https://github.com/ModelCloud/GPTQModel

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты