vllm-project/vllm-omni

O que é?

Recursos principais

• 01Serve modelos de geração de texto, imagens, áudio, vídeo e ações em um único runtime.
• 02Executa Diffusion Transformers e outros modelos não autoregressivos junto com o suporte a AR do vLLM.
• 03Divide os fluxos de trabalho dos modelos em etapas de pipeline, com alocação dinâmica de recursos.
• 04Oferece um servidor de API compatível com OpenAI e saídas em streaming.
• 05Oferece serving em tempo real full-duplex, com entrada e saída de áudio em streaming.
• 06Oferece paralelismo de tensor, pipeline, dados e especialistas para inferência distribuída.

Casos de uso

• Servir um modelo de speech-to-speech ou TTS por meio de uma API no estilo OpenAI.
• Implantar modelos de geração de imagens ou vídeos por difusão em escala de produção.
• Executar pipelines omni-modality com várias etapas que combinam componentes LLM e de difusão.
• Hospedar modelos de política para robôs ou modelos de ações usando a mesma stack de serving que os LLMs.

Início rápido

1. 1

   Leia o guia de instalação na documentação

2. 2

   Siga o guia de início rápido na documentação

3. 3

   Opcionalmente, faça pull da imagem Docker nightly de CUDA no Docker Hub

Antes de usar

• !O README não fornece um comando direto de instalação, então a configuração depende da documentação externa de instalação e início rápido.
• !Os lançamentos estão vinculados a versões específicas do vLLM upstream, então o projeto depende da linha de lançamentos do vLLM.
• !Muitos dos modelos compatíveis são modelos grandes de difusão ou de modalidade omni, que normalmente precisam de hardware acelerador, como GPUs com CUDA, ROCm, XPU ou NPU.

Tópicos

Perguntas frequentes

O que é vllm-omni?

Um framework de serving que amplia o vLLM para executar modelos omni-modality que geram texto, imagens, áudio, vídeo e ações. O vLLM-Omni amplia o mecanismo de inferência do vLLM para além da geração autoregressiva de texto. Ele foi desenvolvido para servir modelos que recebem e geram texto, imagens, áudio, vídeo e dados de ações, incluindo Diffusion Transformers e outros modelos de geração paralela, além da decodificação padrão no estilo LLM.

vllm-omni é gratuito? Qual é a licença?

vllm-omni é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

vllm-omni ainda é mantido?

Manutenção ativa. O último commit de vllm-omni foi em 19 de out. de 2026.

Para que posso usar vllm-omni?

Servir um modelo de speech-to-speech ou TTS por meio de uma API no estilo OpenAI. Implantar modelos de geração de imagens ou vídeos por difusão em escala de produção. Executar pipelines omni-modality com várias etapas que combinam componentes LLM e de difusão. Hospedar modelos de política para robôs ou modelos de ações usando a mesma stack de serving que os LLMs.

Como instalar vllm-omni?

Leia o guia de instalação na documentação Siga o guia de início rápido na documentação Opcionalmente, faça pull da imagem Docker nightly de CUDA no Docker Hub

Onde consigo vllm-omni?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vllm-project/vllm-omni