Framework de investigación de código abierto para generar en tiempo real videos de avatares a partir de audio, con salida continua de duración ilimitada y un modelo de difusión de 14B.
LiveAvatar genera videos de avatares parlantes a partir de una pista de audio y una imagen de referencia, con un prompt de texto opcional. Está diseñado para streaming: los fotogramas se producen de forma continua, en lugar de formar un único clip de duración fija, mediante un enfoque autoregresivo por bloques que, según el proyecto, permite crear videos de más de 10.000 segundos.
El sistema se basa en el modelo Wan2.2-S2V-14B con un LoRA de LiveAvatar y utiliza muestreo de 4 pasos mediante destilación por coincidencia de distribuciones. El proyecto reporta unos 45 FPS en GPU H800 con varias tarjetas. Los scripts de inferencia permiten hacer streaming en tiempo real con varias GPU, generar contenido sin conexión con una sola GPU de 80 GB y usar interfaces web de Gradio. La cuantización FP8 opcional está pensada para GPU de 48 GB; también hay opciones de compilación y atención con cuDNN para mejorar la velocidad.
El proyecto se publica bajo la licencia Apache-2.0 y sus autores lo describen como una versión preliminar de investigación. Los checkpoints del modelo están alojados en Hugging Face, y el repositorio indica que hay tareas pendientes, como el código de entrenamiento y la integración de TTS.
Crea y activa un entorno conda
conda create -n liveavatar python=3.10 -y && conda activate liveavatarInstala PyTorch y FlashAttention y, después, los requisitos de Python
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txtDescarga el modelo base Wan2.2-S2V-14B y LiveAvatar LoRA en ./ckpt/
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatarEjecuta la inferencia CLI con una sola GPU (se necesitan 80 GB de VRAM)
bash infinite_inference_single_gpu.shResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Modelo de código abierto para generar videos interactivos de juegos a partir de una imagen de referencia y controles de teclado o mouse.
Interfaz gráfica de nodos, API y backend para ejecutar modelos de difusión localmente y generar imágenes, video, audio y contenido 3D.
Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones.
Modelo de mundo interactivo de código abierto que genera escenas de juego jugables a partir de fotogramas low-poly mediante renderizado neuronal por streaming.
Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.