Framework de pesquisa open source para gerar vídeos de avatares em tempo real a partir de áudio, com transmissão contínua e duração ilimitada, usando um modelo de difusão de 14B.
2,5 mil+6 esta semana289PythonApache-2.0Atualizado há 2 meses
- Estrelas
- 14,183
- Forks
- 2,701
- Issues abertas
- 671
- Último commit
- há 2 anos
O que é?
O SadTalker anima uma única foto de retrato para que a pessoa fale em sincronia com um arquivo de áudio fornecido. O projeto prevê coeficientes de movimento 3D a partir do áudio, incluindo pose da cabeça e expressão facial, e os usa para renderizar um vídeo da pessoa falando a partir da imagem estática.
O repositório oferece uma WebUI baseada em Gradio que roda localmente, um script de linha de comando (inference.py) para geração em lote e uma extensão para stable-diffusion-webui. Há suporte a um modo de imagem estática de corpo inteiro, a um vídeo de referência para o movimento e ao GFPGAN opcional para melhorar a qualidade dos rostos no resultado. Os checkpoints pré-treinados são distribuídos pelo Google Drive, GitHub Releases e Baidu Cloud, e o README descreve caminhos de instalação para Linux, Windows e macOS.
Recursos principais
- 01Gera um vídeo de uma pessoa falando a partir de uma foto de retrato e um arquivo de áudio.
- 02Prevê a pose da cabeça e as expressões a partir do áudio por meio de coeficientes de movimento 3D.
- 03Oferece uma WebUI local baseada em Gradio e uma CLI para geração.
- 04Inclui uma extensão para stable-diffusion-webui.
- 05Oferece um modo de imagem estática de corpo inteiro e um aprimorador facial opcional com GFPGAN.
Casos de uso
- Criar vídeos de pessoas falando a partir de uma única foto para conteúdo ou demonstrações.
- Experimentar animação facial orientada por áudio em pesquisas.
- Adicionar fala de avatares com sincronização labial a um fluxo de trabalho do stable-diffusion-webui.
Início rápido
- 1
Clone o repositório
git clone https://github.com/OpenTalker/SadTalker.git - 2
Crie e ative um ambiente conda com Python 3.8
conda create -n sadtalker python=3.8 - 3
Instale os requisitos
pip install -r requirements.txt - 4
Baixe os modelos pré-treinados (execute a partir da raiz do repositório)
bash scripts/download_models.sh
Antes de usar
- Antes do primeiro uso, é necessário configurar o PyTorch para GPU com CUDA e baixar o modelo manualmente.
- Nos metadados, a licença consta como NOASSERTION; verifique a licença do repositório antes de usá-lo comercialmente.
- O README informa que é preciso instalar o Coqui TTS separadamente para a demo do Gradio, e que a configuração no Windows e no macOS exige etapas adicionais.
Em coleções
Tópicos
#talking-face#image-animation#audio-driven#computer-vision#gradio#deep-learning#video-generation#audio-driven-talking-face#cvpr2023#deep-fake
Perguntas frequentes
- O que é SadTalker?
- Gera um vídeo de uma pessoa falando a partir de uma única foto de retrato e um clipe de áudio, usando coeficientes de movimento 3D (CVPR 2023). O SadTalker anima uma única foto de retrato para que a pessoa fale em sincronia com um arquivo de áudio fornecido. O projeto prevê coeficientes de movimento 3D a partir do áudio, incluindo pose da cabeça e expressão facial, e os usa para renderizar um vídeo da pessoa falando a partir da imagem estática.
- SadTalker é gratuito? Qual é a licença?
- SadTalker é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- SadTalker ainda é mantido?
- Sem commits há mais de 6 meses. O último commit de SadTalker foi em 26 de jun. de 2024.
- Para que posso usar SadTalker?
- Criar vídeos de pessoas falando a partir de uma única foto para conteúdo ou demonstrações. Experimentar animação facial orientada por áudio em pesquisas. Adicionar fala de avatares com sincronização labial a um fluxo de trabalho do stable-diffusion-webui.
- Como instalar SadTalker?
- Clone o repositório: git clone https://github.com/OpenTalker/SadTalker.git Crie e ative um ambiente conda com Python 3.8: conda create -n sadtalker python=3.8 Instale os requisitos: pip install -r requirements.txt Baixe os modelos pré-treinados (execute a partir da raiz do repositório): bash scripts/download_models.sh
- Onde consigo SadTalker?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenTalker/SadTalker
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Ferramenta de código aberto baseada em Stable Diffusion para gerar quadrinhos com personagens consistentes e sequências longas de imagem para vídeo.
IA e Machine Learning#stable-diffusion#image-generation#comic-generation#text-to-image#video-generation
6,5 mil+3 esta semana651Jupyter NotebookApache-2.0Atualizado há 2 anos
Uma interface web baseada em Gradio para executar Stable Diffusion e modelos mais recentes de imagem e vídeo, dando continuidade ao fork Forge com suporte a novos modelos e otimizações.
1,9 mil+23 esta semana265PythonAGPL-3.0Atualizado ontem
Transforma uma única imagem de um objeto em um modelo 3D Gaussian Splat, gerando também os lados que não aparecem, como SDK de inferência e demo.
863+681 esta semana83PythonApache-2.0Atualizado há 9 dias
Workspace de IA open source para criadores que reúne tradução e download de vídeos, geração de imagens e vídeos, narrações e criação de roteiros, com base no Codex CLI.
14,2 mil+149 esta semana1,6 milTypeScriptApache-2.0Atualizado ontem
Aplicativo desktop para criar humanos digitais com IA, com síntese de vídeos com sincronização labial, conversão de texto em fala, clonagem de voz e gerenciamento local de modelos de IA.
5,8 mil+31 esta semana849VueApache-2.0Bem mantidoAtualizado ontem