vllm-project/vllm-omni

这是什么？

核心功能

• 01在同一运行时中部署文本、图像、音频、视频及动作生成模型。
• 02支持 Diffusion Transformer 等非自回归模型，并保留 vLLM 的自回归能力。
• 03将模型工作流拆分为流水线阶段，并动态分配各阶段资源。
• 04提供兼容 OpenAI 的 API 服务和流式输出。
• 05支持流式音频输入输出的全双工实时服务。
• 06支持张量、流水线、数据和专家并行的分布式推理。

适用场景

• 通过兼容 OpenAI 的接口部署语音对话或 TTS 模型。
• 在生产环境中部署扩散式图像或视频生成模型。
• 运行混合 LLM 与扩散组件的多阶段全模态流水线。
• 用与大语言模型相同的服务栈托管机器人策略或动作模型。

快速上手

1. 1

   阅读文档中的安装指南

2. 2

   按照文档中的快速入门指南操作

3. 3

   可选：从 Docker Hub 拉取每夜构建的 CUDA Docker 镜像

使用前须知

• !README 中没有直接的安装命令，安装依赖外部的安装和快速入门文档。
• !版本发布与特定的上游 vLLM 版本绑定，项目依赖 vLLM 的发布节奏。
• !许多支持的模型是大型扩散或全模态模型，通常需要 CUDA、ROCm、XPU 或 NPU 等加速器硬件。

标签

常见问题

vllm-omni 是什么？

基于 vLLM 扩展的推理服务框架，支持文本、图像、音频、视频等全模态模型部署。 vLLM-Omni 在 vLLM 推理引擎的基础上，把支持范围扩展到自回归文本生成之外。它面向能够输入和输出文本、图像、音频、视频及动作数据的模型，包括 Diffusion Transformer 等并行生成模型，同时保留 LLM 式解码能力。

vllm-omni 可以免费使用吗？用的什么许可证？

vllm-omni 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

vllm-omni 还在维护吗？

活跃维护中。vllm-omni 最近一次提交是在 2026年10月19日。

vllm-omni 适合用来做什么？

通过兼容 OpenAI 的接口部署语音对话或 TTS 模型。 在生产环境中部署扩散式图像或视频生成模型。 运行混合 LLM 与扩散组件的多阶段全模态流水线。 用与大语言模型相同的服务栈托管机器人策略或动作模型。

vllm-omni 怎么安装和运行？

阅读文档中的安装指南 按照文档中的快速入门指南操作 可选：从 Docker Hub 拉取每夜构建的 CUDA Docker 镜像

在哪里获取 vllm-omni？

源代码和安装说明在 GitHub 上：https://github.com/vllm-project/vllm-omni