Repolode
Предложить
huggingface

huggingface/optimum-nvidia

Библиотека Hugging Face ускоряет генерацию текста трансформерами на GPU NVIDIA с помощью TensorRT-LLM — достаточно изменить одну строку кода.

Открыть на GitHub
Звёзды
1,039
Форки
106
Открытые issues
59
Последний коммит
в прошлом месяце

Что это?

Optimum-NVIDIA — библиотека Hugging Face для ускорения инференса LLM на оборудовании NVIDIA. Она оборачивает интерфейсы transformers pipeline и AutoModelForCausalLM, поэтому существующий код на transformers можно переключить на оптимизированный backend, изменив импорт. Проект построен на TensorRT-LLM и предоставляет такие параметры, как квантование FP8, максимальная длина промпта и ответа, а также размер батча.

Сейчас проект ускоряет генерацию текста для авторегрессионных языковых моделей на архитектуре LLaMA. Установка через pip проверена на Ubuntu и требует Python 3.10, OpenMPI и совместимый GPU NVIDIA; также доступен Docker-образ. Для FP8 нужны GPU Hopper или Ada-Lovelace. Проект протестирован на RTX 4090, L40S и H100.

Optimum-NVIDIA предназначен для команд, которые обслуживают модели семейства Llama на GPU NVIDIA и хотят увеличить пропускную способность без переписывания кода на transformers. Поддержка других архитектур моделей и задач пока находится в разработке.

Ключевые возможности

  • 01Замена transformers pipeline и AutoModelForCausalLM без изменений в коде, кроме импорта в одной строке.
  • 02Квантование FP8 на GPU Hopper и Ada-Lovelace.
  • 03Настраиваемые максимальная длина промпта, длина ответа и размер батча.
  • 04Пакет для pip и Docker-образ; также можно собрать проект из исходного кода на основе TensorRT-LLM.
  • 05Поддержка параметров Hugging Face generate(), например top_k, top_p и repetition_penalty.

Сценарии использования

  • Обслуживание чат-моделей семейства LLaMA на GPU NVIDIA с повышенной пропускной способностью.
  • Ускорение существующего конвейера генерации текста на transformers без переписывания кода приложения.
  • Инференс с квантованием FP8 на серверах с H100 или L40S.

Быстрый старт

  1. 1

    Установить системные пакеты (Ubuntu)

    apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
  2. 2

    Установить optimum-nvidia с помощью pip

    python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

Что важно знать

  • Установка с помощью pip проверена только в Ubuntu.
  • Требуется GPU NVIDIA с архитектурой Ampere, Hopper или Ada-Lovelace.
  • FP8 доступен только на GPU Hopper и Ada-Lovelace.
  • В настоящее время ускоряет только генерацию текста с помощью LlamaForCausalLM.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#nvidia#tensorrt-llm#transformers#gpu#fp8#text-generation

Частые вопросы

Что такое optimum-nvidia?
Библиотека Hugging Face ускоряет генерацию текста трансформерами на GPU NVIDIA с помощью TensorRT-LLM — достаточно изменить одну строку кода. Optimum-NVIDIA — библиотека Hugging Face для ускорения инференса LLM на оборудовании NVIDIA. Она оборачивает интерфейсы transformers pipeline и AutoModelForCausalLM, поэтому существующий код на transformers можно переключить на оптимизированный backend, изменив импорт. Проект построен на TensorRT-LLM и предоставляет такие параметры, как квантование FP8, максимальная длина промпта и ответа, а также размер батча.
optimum-nvidia можно использовать бесплатно? Какая у него лицензия?
optimum-nvidia распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
optimum-nvidia всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в optimum-nvidia — 24 сент. 2026 г..
Для чего можно использовать optimum-nvidia?
Обслуживание чат-моделей семейства LLaMA на GPU NVIDIA с повышенной пропускной способностью. Ускорение существующего конвейера генерации текста на transformers без переписывания кода приложения. Инференс с квантованием FP8 на серверах с H100 или L40S.
Как установить optimum-nvidia?
Установить системные пакеты (Ubuntu): apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev Установить optimum-nvidia с помощью pip: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia
Где скачать optimum-nvidia?
Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/optimum-nvidia

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты