Framework de pesquisa open source para gerar vídeos de avatares em tempo real a partir de áudio, com transmissão contínua e duração ilimitada, usando um modelo de difusão de 14B.
O LiveAvatar gera vídeos de avatares falando a partir de uma faixa de áudio e uma imagem de referência, com a opção de incluir um prompt de texto. Ele foi projetado para uso em streaming: os quadros são produzidos continuamente, em vez de compor um clipe único de duração fixa. Para isso, usa uma abordagem autorregressiva em blocos que, segundo o projeto, permite gerar vídeos com mais de 10.000 segundos.
O sistema usa como base o modelo Wan2.2-S2V-14B com um LoRA do LiveAvatar e faz amostragem em 4 etapas por destilação com correspondência de distribuições. O projeto reporta cerca de 45 FPS em GPUs H800 com várias placas. Os scripts de inferência abrangem streaming em tempo real com várias GPUs, geração offline em uma única GPU de 80 GB e interfaces web do Gradio. A quantização FP8 opcional atende a GPUs de 48 GB, e há opções de compilação e atenção com cuDNN para acelerar a execução.
O projeto é distribuído sob a licença Apache-2.0 e seus autores o descrevem como uma prévia de pesquisa. Os checkpoints dos modelos estão hospedados no Hugging Face, e o repositório lista trabalhos pendentes, como o código de treinamento e a integração com TTS.
Crie e ative um ambiente conda
conda create -n liveavatar python=3.10 -y && conda activate liveavatarInstale PyTorch e FlashAttention e, em seguida, os requisitos do Python
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txtBaixe o modelo base Wan2.2-S2V-14B e o LiveAvatar LoRA para ./ckpt/
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatarExecute a inferência CLI com uma única GPU (requer 80 GB de VRAM)
bash infinite_inference_single_gpu.shResumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Modelos generativos de vídeo open source em larga escala para texto para vídeo, imagem para vídeo, fala para vídeo e animação de personagens.
Modelo open source de geração interativa de vídeos de jogos que transforma uma imagem de referência e comandos de teclado ou mouse em vídeos de gameplay controláveis.
GUI em grafo de nós, API e backend para executar modelos de difusão localmente e gerar imagens, vídeos, áudio e conteúdo 3D.
Um framework de serving que amplia o vLLM para executar modelos omni-modality que geram texto, imagens, áudio, vídeo e ações.
Modelo de mundo interativo e open source que gera cenas de jogo jogáveis a partir de quadros low-poly com renderização neural em streaming.
Uma interface web baseada em Gradio para executar Stable Diffusion e modelos mais recentes de imagem e vídeo, dando continuidade ao fork Forge com suporte a novos modelos e otimizações.