Repolode
Предложить
NVIDIA

NVIDIA/TensorRT-LLM

Библиотека NVIDIA с открытым исходным кодом для оптимизации инференса LLM и моделей генерации изображений на GPU NVIDIA, с API для Python и рантаймами на C++ и Python.

Открыть на GitHubСайт
Звёзды
14,937
Форки
2,862
Открытые issues
1,789
Последний коммит
11 часов назад

Что это?

TensorRT LLM — это библиотека для эффективного инференса больших языковых моделей на GPU NVIDIA. Она предоставляет API для Python, позволяющий описывать LLM, кастомные ядра для распространённых операций, таких как attention, GEMM и слои MoE, а также компоненты рантайма, которые управляют выполнением на Python и C++.

Проект поддерживает конфигурации с одним или несколькими GPU, а также с несколькими узлами, включая стратегии параллелизма, раздельное выполнение prefill и decode, широкий экспертный параллелизм и спекулятивное декодирование. Он интегрируется с NVIDIA Dynamo и Triton Inference Server, а архитектура на базе PyTorch позволяет разработчикам изменять рантайм или адаптировать предопределённые модели с помощью кода PyTorch.

Репозиторий также поддерживает модели генерации изображений (diffusion). По умолчанию собираются данные телеметрии, но эту функцию можно отключить с помощью переменной окружения, файла, API для Python или флага CLI.

Ключевые возможности

  • 01Кастомные ядра для операций attention, GEMM и MoE на GPU NVIDIA
  • 02API LLM для Python: от развёртывания на одном GPU до нескольких узлов
  • 03Варианты параллелизма, включая экспертный параллелизм и раздельное выполнение prefill и decode
  • 04Спекулятивное декодирование и другие оптимизации рантайма
  • 05Архитектура на базе PyTorch для изменения моделей и рантайма
  • 06Интеграция с NVIDIA Dynamo и Triton Inference Server

Сценарии использования

  • Обслуживание больших языковых моделей с низкой задержкой и высокой пропускной способностью на серверных GPU NVIDIA
  • Развёртывание квантованных LLM, например моделей FP8 или FP4, на оборудовании Blackwell
  • Инференс моделей со смесью экспертов на нескольких GPU или узлах
  • Ускорение моделей генерации изображений на GPU NVIDIA

Что важно знать

  • Для работы требуются графические процессоры NVIDIA, поэтому программа не запустится на другом оборудовании.
  • В метаданных лицензии указано NOASSERTION, хотя на значке в README указана Apache 2. Перед использованием проверьте лицензию.
  • Текущий выпуск — кандидат на релиз (1.4.0rc2), поэтому API может измениться.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#gpu#cuda#llm-serving#moe#pytorch#inference-optimization#blackwell

Частые вопросы

Что такое TensorRT-LLM?
Библиотека NVIDIA с открытым исходным кодом для оптимизации инференса LLM и моделей генерации изображений на GPU NVIDIA, с API для Python и рантаймами на C++ и Python. TensorRT LLM — это библиотека для эффективного инференса больших языковых моделей на GPU NVIDIA. Она предоставляет API для Python, позволяющий описывать LLM, кастомные ядра для распространённых операций, таких как attention, GEMM и слои MoE, а также компоненты рантайма, которые управляют выполнением на Python и C++.
TensorRT-LLM можно использовать бесплатно? Какая у него лицензия?
TensorRT-LLM распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
TensorRT-LLM всё ещё поддерживается?
Активно поддерживается. Последний коммит в TensorRT-LLM — 24 окт. 2026 г..
Для чего можно использовать TensorRT-LLM?
Обслуживание больших языковых моделей с низкой задержкой и высокой пропускной способностью на серверных GPU NVIDIA Развёртывание квантованных LLM, например моделей FP8 или FP4, на оборудовании Blackwell Инференс моделей со смесью экспертов на нескольких GPU или узлах Ускорение моделей генерации изображений на GPU NVIDIA
Где скачать TensorRT-LLM?
Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/TensorRT-LLM

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты