yizhi-chengzi/video-ai-talking

O que é?

Recursos principais

• 01Gera narração a partir de texto com o Volcano Engine ou o Alibaba Bailian CosyVoice.
• 02Sincroniza os movimentos dos lábios de um clipe gravado com o áudio via Bailian VideoRetalk.
• 03Combina os elementos em um MP4 vertical com o FFmpeg e estilos de legenda selecionáveis.
• 04Insere trechos de vídeo locais sobre linhas escolhidas das legendas.
• 05Opcionalmente, cria roteiros a partir de um tema usando o DeepSeek.
• 06Mantém as chaves de API no navegador e os dados das tarefas na máquina local.

Casos de uso

• Criar vídeos curtos explicativos com pessoas falando sem precisar gravar cada tomada.
• Produzir clipes verticais para plataformas de vídeos curtos a partir de uma única gravação de rosto.
• Prototipar conteúdo com pessoas falando e dublagem por IA usando o modo de simulação antes de pagar pelas chamadas de API.

Início rápido

1. 1

   Clone o repositório

   git clone https://github.com/yizhi-chengzi/video-ai-talking.git
2. 2

   Acesse a pasta do projeto

   cd video-ai-talking
3. 3

   Copie o arquivo env de exemplo

   cp .env.example .env
4. 4

   Instale as dependências e inicie o servidor de desenvolvimento; em seguida, abra http://127.0.0.1:5175

   npm install && npm run dev

Antes de usar

• !É necessária uma chave de API do Bailian VideoRetalk e o FFmpeg instalado localmente.
• !A sincronização labial e a narração dependem de APIs pagas na nuvem (Alibaba Bailian, Volcengine e, opcionalmente, DeepSeek).
• !O vídeo de referência e o áudio de voz são enviados para o armazenamento temporário do Alibaba Bailian para processamento.
• !O seletor de arquivos do Linux requer a instalação do Zenity.

Tópicos

Perguntas frequentes

O que é video-ai-talking?

Ferramenta local que transforma um vídeo gravado de uma pessoa falando e um roteiro em um MP4 vertical com narração por IA e sincronização labial automática. video-ai-talking produz vídeos curtos de pessoas falando a partir de uma única gravação de uma pessoa real. Você fornece um clipe em close, de frente, e o texto a ser falado, ou deixa um LLM criar o roteiro a partir de um tema. A ferramenta gera a narração com o Volcano Engine ou o Alibaba Bailian CosyVoice, envia o clipe e o áudio ao Bailian VideoRetalk para sincronizar os movimentos dos lábios e combina o resultado com o FFmpeg em um MP4 vertical, usando um estilo escolhido para as legendas e o título.

video-ai-talking é gratuito? Qual é a licença?

video-ai-talking é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

video-ai-talking ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de video-ai-talking foi em 3 de set. de 2026.

Para que posso usar video-ai-talking?

Criar vídeos curtos explicativos com pessoas falando sem precisar gravar cada tomada. Produzir clipes verticais para plataformas de vídeos curtos a partir de uma única gravação de rosto. Prototipar conteúdo com pessoas falando e dublagem por IA usando o modo de simulação antes de pagar pelas chamadas de API.

Como instalar video-ai-talking?

Clone o repositório: git clone https://github.com/yizhi-chengzi/video-ai-talking.git Acesse a pasta do projeto: cd video-ai-talking Copie o arquivo env de exemplo: cp .env.example .env Instale as dependências e inicie o servidor de desenvolvimento; em seguida, abra http://127.0.0.1:5175: npm install && npm run dev

Onde consigo video-ai-talking?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/yizhi-chengzi/video-ai-talking