vllm-project/vllm-omni

これは何？

主な機能

• 01テキスト、画像、音声、動画、アクションを生成するモデルを、単一のランタイムでサービングします。
• 02vLLMの自己回帰（AR）対応に加えて、Diffusion Transformersやその他の非自己回帰モデルを実行します。
• 03モデルの処理をパイプライン化されたステージに分割し、リソースを動的に割り当てます。
• 04ストリーミング出力に対応したOpenAI互換のAPIサーバーを提供します。
• 05音声のストリーミング入出力に対応した全二重リアルタイムサービングをサポートします。
• 06分散推論向けに、テンソル並列、パイプライン並列、データ並列、エキスパート並列を提供します。

ユースケース

• OpenAI形式のAPIの背後で、音声間変換モデルやTTSモデルをサービングする。
• 拡散型の画像・動画生成モデルを本番規模でデプロイする。
• LLMと拡散モデルのコンポーネントを組み合わせた、複数ステージからなる全モダリティ対応パイプラインを実行する。
• LLMと同じサービングスタックで、ロボットのポリシーモデルやアクションモデルをホストする。

クイックスタート

1. 1

   ドキュメントのインストールガイドを読む

2. 2

   ドキュメントのクイックスタートガイドに従う

3. 3

   必要に応じて、Docker Hubからnightly版のCUDA Dockerイメージをpullする

使う前に知っておきたいこと

• !READMEに直接実行できるインストールコマンドが記載されていないため、セットアップには外部のインストールガイドとクイックスタートガイドが必要です。
• !リリースは特定の上流vLLMバージョンに紐づいているため、このプロジェクトはvLLMのリリース系列に依存します。
• !サポート対象モデルには、大規模な拡散モデルやオムニモダリティモデルが多く含まれ、通常はCUDA、ROCm、XPU、NPUなどに対応したアクセラレータハードウェアが必要です。

トピック

よくある質問

vllm-omni とは？

テキスト、画像、音声、動画、アクションを生成する全モダリティ対応モデルを実行できる、vLLMを拡張したサービングフレームワーク。 vLLM-Omniは、vLLMの推論エンジンを自己回帰型のテキスト生成以外にも拡張します。Diffusion Transformersやその他の並列生成モデルに加え、標準的なLLM形式のデコードにも対応し、テキスト、画像、音声、動画、アクションのデータを入力・生成するモデルをサービングできるよう設計されています。

vllm-omni は無料で使えますか？ライセンスは？

vllm-omni は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

vllm-omni は今もメンテナンスされていますか？

活発にメンテナンス中。vllm-omni の最終コミットは 2026年10月19日 です。

vllm-omni は何に使えますか？

OpenAI形式のAPIの背後で、音声間変換モデルやTTSモデルをサービングする。 拡散型の画像・動画生成モデルを本番規模でデプロイする。 LLMと拡散モデルのコンポーネントを組み合わせた、複数ステージからなる全モダリティ対応パイプラインを実行する。 LLMと同じサービングスタックで、ロボットのポリシーモデルやアクションモデルをホストする。

vllm-omni のインストール方法は？

ドキュメントのインストールガイドを読む ドキュメントのクイックスタートガイドに従う 必要に応じて、Docker Hubからnightly版のCUDA Dockerイメージをpullする

vllm-omni はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vllm-project/vllm-omni