microsoft/vidur

Что это?

Ключевые возможности

• 01Оценивает TTFT, TPOT, полную задержку и размер пакета для рабочих нагрузок инференса LLM.
• 02После начального этапа профилирования на целевом оборудовании работает без GPU.
• 03Поддерживает различные сочетания тензорного и конвейерного параллелизма на нескольких типах узлов с GPU.
• 04Принимает синтетические генераторы запросов и трассы инференса LLM в Azure.
• 05Экспортирует трассы Chrome и записывает метрики в wandb или локальные каталоги.
• 06Позволяет расширять симулятор для проверки новых планировщиков и оптимизаций.

Сценарии использования

• Планирование емкости: поиск самого дешевого варианта развертывания, который укладывается в целевые показатели задержки.
• Сравнение политик планирования на одной и той же трассе трафика.
• Изучение спекулятивного декодирования и других оптимизаций инференса до их реализации на реальных GPU.
• Изучение влияния размера модели и настроек параллелизма на производительность инференса.

Быстрый старт

1. 1

   Создайте venv с Python 3.10

   python3.10 -m venv .venv
2. 2

   Активируйте виртуальное окружение

   source .venv/bin/activate
3. 3

   Установите зависимости

   python -m pip install -r requirements.txt
4. 4

   Запустите симулятор из корня репозитория

   python -m vidur.main

Что важно знать

• !Требуется Python 3.10, а для новых моделей или SKU необходимо сначала выполнить профилирование GPU.
• !Поддерживаются только модели и оборудование из перечисленных конфигураций.
• !Некоторые функции, например кэширование префиксов, доступны только в ветке canary.

В подборках

Темы

Частые вопросы

Что такое vidur?

Высокоточный симулятор систем инференса LLM, позволяющий изучать производительность, планировать развертывание и проверять идеи по планированию без GPU. Vidur симулирует обработку запросов большими языковыми моделями в кластерах GPU. Он моделирует такие метрики, как время до первого токена (TTFT), время на выходной токен (TPOT), полная задержка обработки запроса и размер пакета для выбранной нагрузки, модели и конфигурации оборудования. Сначала симулятор проводит короткий этап профилирования на реальных GPU, после чего эксперименты можно выполнять без доступа к ним.

vidur можно использовать бесплатно? Какая у него лицензия?

vidur распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

vidur всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в vidur — 24 авг. 2026 г..

Для чего можно использовать vidur?

Планирование емкости: поиск самого дешевого варианта развертывания, который укладывается в целевые показатели задержки. Сравнение политик планирования на одной и той же трассе трафика. Изучение спекулятивного декодирования и других оптимизаций инференса до их реализации на реальных GPU. Изучение влияния размера модели и настроек параллелизма на производительность инференса.

Как установить vidur?

Создайте venv с Python 3.10: python3.10 -m venv .venv Активируйте виртуальное окружение: source .venv/bin/activate Установите зависимости: python -m pip install -r requirements.txt Запустите симулятор из корня репозитория: python -m vidur.main

Где скачать vidur?

Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/vidur