intel/neural-compressor

Что это?

Ключевые возможности

• 01Статическое, динамическое квантование и квантование только весов для моделей PyTorch и JAX
• 02Поддержка SmoothQuant и обучения с учётом квантования
• 03Низкоточные форматы FP8, MXFP8/MXFP4 и NVFP4 (некоторые из них экспериментальные)
• 04API в стиле Transformers для квантования LLM и VLM с помощью AutoRound
• 05Автоматический подбор параметров квантования, соответствующих заданному порогу точности

Сценарии использования

• Снижение потребления памяти и задержки при инференсе больших языковых моделей на оборудовании Intel
• Квантование моделей компьютерного зрения на PyTorch или JAX перед развёртыванием
• Применение квантования FP8 на ускорителях Intel Gaudi

Быстрый старт

1. 1

   Установите пакет бэкенда PyTorch из PyPI

   pip install neural-compressor-pt
2. 2

   Установите пакет бэкенда JAX из PyPI (необязательно)

   pip install neural-compressor-jax
3. 3

   Запустите пример кода квантования FP8 (требуется оборудование Intel Gaudi2 или образ Docker с Gaudi)

Что важно знать

• !Основной пример для начала работы рассчитан на оборудование Intel Gaudi2, которого, скорее всего, нет у большинства разработчиков.
• !Некоторые функции, такие как NVFP4, MXFP8/MXFP4 и FP8 для Keras/JAX, пока находятся на экспериментальной стадии.
• !Поддержка CPU AMD, CPU ARM и GPU NVIDIA проверена лишь в ограниченном объёме.
• !Настройка оборудования, например согласование версий ПО Gaudi, усложняет установку.

Темы

Частые вопросы

Что такое neural-compressor?

Открытая Python-библиотека Intel для сжатия моделей глубокого обучения с помощью квантования, разреживания и дистилляции в PyTorch, JAX и ONNX. Intel Neural Compressor — Python-библиотека для уменьшения размера и ускорения моделей глубокого обучения. Она предоставляет методы квантования после обучения и квантования с учётом обучения, включая статическое и динамическое квантование, SmoothQuant, квантование только весов, смешанную точность и FP8, а также низкобитные форматы INT4, MXFP4 и NVFP4 для больших языковых и визуально-языковых моделей.

neural-compressor можно использовать бесплатно? Какая у него лицензия?

neural-compressor распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

neural-compressor всё ещё поддерживается?

Активно поддерживается. Последний коммит в neural-compressor — 20 окт. 2026 г..

Для чего можно использовать neural-compressor?

Снижение потребления памяти и задержки при инференсе больших языковых моделей на оборудовании Intel Квантование моделей компьютерного зрения на PyTorch или JAX перед развёртыванием Применение квантования FP8 на ускорителях Intel Gaudi

Как установить neural-compressor?

Установите пакет бэкенда PyTorch из PyPI: pip install neural-compressor-pt Установите пакет бэкенда JAX из PyPI (необязательно): pip install neural-compressor-jax Запустите пример кода квантования FP8 (требуется оборудование Intel Gaudi2 или образ Docker с Gaudi)

Где скачать neural-compressor?

Исходный код и инструкции по установке — на GitHub: https://github.com/intel/neural-compressor