Repolode
Предложить
ai-dynamo

ai-dynamo/dynamo

Фреймворк для распределённого инференса в масштабах дата-центра: координирует работу vLLM, SGLang и TensorRT-LLM на нескольких GPU и узлах.

Открыть на GitHubСайт
Звёзды
8,382
Форки
1,755
Открытые issues
2,142
Последний коммит
4 часа назад

Что это?

Dynamo — это уровень оркестрации поверх таких движков инференса, как vLLM, SGLang и TensorRT-LLM, а не их замена. Он объединяет кластер GPU в слаженную систему инференса и управляет раздельными этапами prefill и decode, маршрутизацией запросов с учётом KV-кеша, выгрузкой KV-кеша на разные уровни хранения и автоматическим масштабированием с учётом SLA.

Основная среда выполнения проекта написана на Rust, а для расширения возможностей используется Python. Dynamo предоставляет HTTP-фронтенд, совместимый с OpenAI API. Его можно запускать из готовых контейнеров, устанавливать через PyPI или развернуть в Kubernetes с помощью собственного ресурса для запуска моделей без дополнительной настройки.

Проект предназначен для задач с LLM, рассуждениями, мультимодальностью и генерацией видео, где одного движка на одном GPU уже недостаточно.

Ключевые возможности

  • 01Раздельные этапы prefill и decode в независимо масштабируемых пулах GPU
  • 02Маршрутизация с учётом KV-кеша, сокращающая повторные вычисления prefill
  • 03Выгрузка KV-кеша между GPU, CPU, SSD и удалённым хранилищем
  • 04Планировщик на основе SLA, автоматически масштабирующий число реплик для достижения целевой задержки
  • 05Фронтенд API, совместимый с OpenAI API
  • 06Поддержка бэкендов SGLang, TensorRT-LLM и vLLM

Сценарии использования

  • Запуск крупных моделей на нескольких GPU или узлах кластера Kubernetes
  • Сокращение времени до первого токена для задач с общими префиксами промптов
  • Разделение пулов prefill и decode, чтобы подобрать оборудование для каждого этапа
  • Развёртывание мультимодальных моделей и моделей генерации видео с раздельным кодированием

Быстрый старт

  1. 1

    Загрузите предварительно собранный runtime-контейнер vLLM

    docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:
  2. 2

    Выберите вариант SGLang или vLLM в разделе быстрого старта README и выполните инструкции

Что важно знать

  • Решение предназначено для развертывания в дата-центрах с несколькими GPU и узлами; для одной модели на одном GPU обычно лучше подходит отдельный движок инференса.
  • Некоторые функции находятся в бета-версии или реализованы частично, например развертывание DGDR без настройки и KVBM в SGLang.
  • В метаданных лицензия указана как NOASSERTION, поэтому перед использованием проверьте условия лицензии в репозитории.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPUФреймворки микросервисов и инфраструктура сервисов

Темы

#llm-inference#distributed-systems#kubernetes#disaggregated-serving#kv-cache#gpu#vllm#rust#diffusion#omni

Частые вопросы

Что такое dynamo?
Фреймворк для распределённого инференса в масштабах дата-центра: координирует работу vLLM, SGLang и TensorRT-LLM на нескольких GPU и узлах. Dynamo — это уровень оркестрации поверх таких движков инференса, как vLLM, SGLang и TensorRT-LLM, а не их замена. Он объединяет кластер GPU в слаженную систему инференса и управляет раздельными этапами prefill и decode, маршрутизацией запросов с учётом KV-кеша, выгрузкой KV-кеша на разные уровни хранения и автоматическим масштабированием с учётом SLA.
dynamo можно использовать бесплатно? Какая у него лицензия?
dynamo распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
dynamo всё ещё поддерживается?
Активно поддерживается. Последний коммит в dynamo — 24 окт. 2026 г..
Для чего можно использовать dynamo?
Запуск крупных моделей на нескольких GPU или узлах кластера Kubernetes Сокращение времени до первого токена для задач с общими префиксами промптов Разделение пулов prefill и decode, чтобы подобрать оборудование для каждого этапа Развёртывание мультимодальных моделей и моделей генерации видео с раздельным кодированием
Как установить dynamo?
Загрузите предварительно собранный runtime-контейнер vLLM: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: Выберите вариант SGLang или vLLM в разделе быстрого старта README и выполните инструкции
Где скачать dynamo?
Исходный код и инструкции по установке — на GitHub: https://github.com/ai-dynamo/dynamo

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты