vllm-project/vllm-omni

Что это?

Ключевые возможности

• 01Запускает модели генерации текста, изображений, аудио, видео и действий в одной среде выполнения.
• 02Поддерживает Diffusion Transformers и другие неавторегрессионные модели наряду с поддержкой авторегрессионной генерации (AR) в vLLM.
• 03Разделяет рабочие процессы моделей на этапы конвейера с динамическим распределением ресурсов.
• 04Предоставляет API-сервер, совместимый с OpenAI, и потоковую передачу результатов.
• 05Поддерживает полно-дуплексный режим реального времени с потоковым вводом и выводом аудио.
• 06Поддерживает параллелизм по тензорам, конвейерам, данным и экспертам для распределённого инференса.

Сценарии использования

• Развёртывание моделей преобразования речи в речь или TTS за API в стиле OpenAI.
• Развёртывание моделей диффузионной генерации изображений и видео в промышленном масштабе.
• Запуск многоэтапных мультимодальных конвейеров, объединяющих компоненты LLM и диффузионные модели.
• Размещение моделей управления роботами или моделей действий с использованием того же стека обслуживания, что и для LLM.

Быстрый старт

1. 1

   Прочитайте руководство по установке в документации

2. 2

   Следуйте руководству по быстрому запуску в документации

3. 3

   При желании загрузите nightly-образ CUDA Docker с Docker Hub

Что важно знать

• !В README нет прямой команды установки, поэтому настройка зависит от внешней документации по установке и быстрому запуску.
• !Релизы привязаны к конкретным версиям upstream vLLM, поэтому проект зависит от линейки релизов vLLM.
• !Многие поддерживаемые модели — это крупные модели диффузии или омнимодальные модели, которым обычно требуется ускоряющее оборудование, например GPU с CUDA, ROCm, XPU или NPU.

Темы

Частые вопросы

Что такое vllm-omni?

Фреймворк для запуска моделей разных модальностей, расширяющий vLLM и поддерживающий генерацию текста, изображений, аудио, видео и действий. vLLM-Omni расширяет движок инференса vLLM за пределы авторегрессионной генерации текста. Он предназначен для моделей, которые принимают и генерируют текст, изображения, аудио, видео и данные о действиях, включая Diffusion Transformers и другие модели с параллельной генерацией, наряду со стандартным декодированием в стиле LLM.

vllm-omni можно использовать бесплатно? Какая у него лицензия?

vllm-omni распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

vllm-omni всё ещё поддерживается?

Активно поддерживается. Последний коммит в vllm-omni — 19 окт. 2026 г..

Для чего можно использовать vllm-omni?

Развёртывание моделей преобразования речи в речь или TTS за API в стиле OpenAI. Развёртывание моделей диффузионной генерации изображений и видео в промышленном масштабе. Запуск многоэтапных мультимодальных конвейеров, объединяющих компоненты LLM и диффузионные модели. Размещение моделей управления роботами или моделей действий с использованием того же стека обслуживания, что и для LLM.

Как установить vllm-omni?

Прочитайте руководство по установке в документации Следуйте руководству по быстрому запуску в документации При желании загрузите nightly-образ CUDA Docker с Docker Hub

Где скачать vllm-omni?

Исходный код и инструкции по установке — на GitHub: https://github.com/vllm-project/vllm-omni