Repolode
Enviar
vllm-project

vllm-project/vllm-omni

Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones.

Ver en GitHubSitio web
Estrellas
7,255
Forks
1,934
Issues abiertos
1,900
Último commit
ayer

¿Qué es?

vLLM-Omni amplía el motor de inferencia vLLM más allá de la generación de texto autorregresiva. Está diseñado para servir modelos que reciben y generan texto, imágenes, audio, video y datos de acciones. Incluye Diffusion Transformers y otros modelos de generación paralela, además de la decodificación estándar al estilo de los LLM.

El framework usa una abstracción de pipeline heterogénea que divide el flujo de trabajo de un modelo en etapas, cuya ejecución se solapa para aumentar el rendimiento. Además, asigna recursos dinámicamente entre las etapas mediante OmniConnector. Funciona con muchos modelos de Hugging Face, incluidos modelos omni como Qwen3-Omni, modelos TTS como Qwen3-TTS y CosyVoice3, y modelos de difusión como Wan2.2 y LTX-2.5.

Ofrece un servidor de API compatible con OpenAI, salidas en streaming, serving en tiempo real full-duplex con entrada y salida de audio en streaming, y paralelismo de tensores, de pipeline, de datos y de expertos para la inferencia distribuida.

Funciones clave

  • 01Sirve modelos de generación de texto, imágenes, audio, video y acciones en un mismo runtime.
  • 02Ejecuta Diffusion Transformers y otros modelos no autorregresivos junto con la compatibilidad de vLLM con la generación autorregresiva.
  • 03Divide los flujos de trabajo de los modelos en etapas de pipeline con asignación dinámica de recursos.
  • 04Ofrece un servidor de API compatible con OpenAI y salidas en streaming.
  • 05Admite serving en tiempo real full-duplex con entrada y salida de audio en streaming.
  • 06Ofrece paralelismo de tensores, de pipeline, de datos y de expertos para la inferencia distribuida.

Casos de uso

  • Servir un modelo de voz a voz o TTS detrás de una API al estilo de OpenAI.
  • Implementar modelos de generación de imágenes o video por difusión a escala de producción.
  • Ejecutar pipelines omnimodales de varias etapas que combinan componentes LLM y de difusión.
  • Alojar modelos de políticas robóticas o de acciones con el mismo stack de serving que los LLM.

Inicio rápido

  1. 1

    Lee la guía de instalación de la documentación

  2. 2

    Sigue la guía de inicio rápido de la documentación

  3. 3

    De forma opcional, descarga la imagen Docker de CUDA nightly desde Docker Hub

Antes de usarlo

  • El README no incluye un comando de instalación directo, por lo que la configuración depende de la documentación externa de instalación e inicio rápido.
  • Las versiones están vinculadas a versiones específicas de vLLM upstream, por lo que el proyecto depende de la línea de versiones de vLLM.
  • Muchos de los modelos compatibles son modelos de difusión o de modalidad omni de gran tamaño, que suelen necesitar hardware acelerador, como GPU con CUDA, ROCm, XPU o NPU.

Temas

#inference#model-serving#multimodal#diffusion#image-generation#audio-generation#video-generation#pytorch#transformer#world-model

Preguntas frecuentes

¿Qué es vllm-omni?
Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones. vLLM-Omni amplía el motor de inferencia vLLM más allá de la generación de texto autorregresiva. Está diseñado para servir modelos que reciben y generan texto, imágenes, audio, video y datos de acciones. Incluye Diffusion Transformers y otros modelos de generación paralela, además de la decodificación estándar al estilo de los LLM.
¿vllm-omni es gratuito? ¿Qué licencia tiene?
vllm-omni es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿vllm-omni sigue mantenido?
Mantenimiento activo. El último commit de vllm-omni fue el 19 oct 2026.
¿Para qué puedo usar vllm-omni?
Servir un modelo de voz a voz o TTS detrás de una API al estilo de OpenAI. Implementar modelos de generación de imágenes o video por difusión a escala de producción. Ejecutar pipelines omnimodales de varias etapas que combinan componentes LLM y de difusión. Alojar modelos de políticas robóticas o de acciones con el mismo stack de serving que los LLM.
¿Cómo se instala vllm-omni?
Lee la guía de instalación de la documentación Sigue la guía de inicio rápido de la documentación De forma opcional, descarga la imagen Docker de CUDA nightly desde Docker Hub
¿Dónde consigo vllm-omni?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vllm-project/vllm-omni

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados