Repolode
Enviar
yizhi-chengzi

yizhi-chengzi/video-ai-talking

Herramienta local que convierte un clip grabado de una persona hablando y un guion en un MP4 vertical con voz en off generada por IA y sincronización labial automática.

Ver en GitHub
Estrellas
480
Forks
70
Issues abiertos
0
Último commit
hace 2 meses

¿Qué es?

video-ai-talking crea videos cortos de una persona hablando a partir de una única grabación de una persona real. Proporcionas un clip en primer plano, de frente, y el texto que se debe decir, o puedes pedirle a un LLM que redacte el guion a partir de un tema. La herramienta genera la voz en off con Volcano Engine o Alibaba Bailian CosyVoice, envía el clip y el audio a Bailian VideoRetalk para sincronizar los labios y combina el resultado con FFmpeg en un MP4 vertical, con el estilo de subtítulos y títulos que elijas.

Se ejecuta íntegramente en tu propio equipo. Las claves de API se guardan en el localStorage del navegador, y las tareas y los videos terminados se escriben en una carpeta de datos local. Puedes insertar material de video sobre líneas de subtítulos concretas para reemplazar la imagen en esos momentos. El modo simulado permite probar el flujo de trabajo sin llamar a servicios externos.

La configuración requiere Node.js 20+, FFmpeg disponible en el PATH y las claves de API del servicio de sincronización labial y de al menos un proveedor de TTS. DeepSeek es opcional para redactar guiones.

Funciones clave

  • 01Genera voces en off a partir de texto con Volcano Engine o Alibaba Bailian CosyVoice.
  • 02Sincroniza los labios de un clip grabado con el audio mediante Bailian VideoRetalk.
  • 03Combina un MP4 vertical con FFmpeg y permite elegir estilos de subtítulos.
  • 04Inserta material de video local sobre las líneas de subtítulos que elijas.
  • 05Redacta guiones a partir de un tema con DeepSeek, de forma opcional.
  • 06Guarda las claves de API en el navegador y los datos de las tareas en el equipo local.

Casos de uso

  • Crear videos explicativos cortos de una persona hablando sin grabar cada toma.
  • Producir clips verticales para plataformas de videos cortos a partir de una única grabación del rostro.
  • Probar la creación de contenido doblado con IA de una persona hablando en modo simulado antes de pagar por llamadas a la API.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/yizhi-chengzi/video-ai-talking.git
  2. 2

    Entra en la carpeta del proyecto

    cd video-ai-talking
  3. 3

    Copia el archivo env de ejemplo

    cp .env.example .env
  4. 4

    Instala las dependencias e inicia el servidor de desarrollo; después, abre http://127.0.0.1:5175

    npm install && npm run dev

Antes de usarlo

  • Se necesita una clave de API de Bailian VideoRetalk y tener FFmpeg instalado localmente.
  • La sincronización labial y la voz en off dependen de API de pago en la nube (Alibaba Bailian, Volcengine y, opcionalmente, DeepSeek).
  • El video de referencia y el audio de voz se suben al almacenamiento temporal de Alibaba Bailian para su procesamiento.
  • El selector de archivos de Linux requiere tener Zenity instalado.

Temas

#video-generation#lip-sync#text-to-speech#ffmpeg#talking-head#typescript#llm

Preguntas frecuentes

¿Qué es video-ai-talking?
Herramienta local que convierte un clip grabado de una persona hablando y un guion en un MP4 vertical con voz en off generada por IA y sincronización labial automática. video-ai-talking crea videos cortos de una persona hablando a partir de una única grabación de una persona real. Proporcionas un clip en primer plano, de frente, y el texto que se debe decir, o puedes pedirle a un LLM que redacte el guion a partir de un tema. La herramienta genera la voz en off con Volcano Engine o Alibaba Bailian CosyVoice, envía el clip y el audio a Bailian VideoRetalk para sincronizar los labios y combina el resultado con FFmpeg en un MP4 vertical, con el estilo de subtítulos y títulos que elijas.
¿video-ai-talking es gratuito? ¿Qué licencia tiene?
video-ai-talking es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿video-ai-talking sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de video-ai-talking fue el 3 sept 2026.
¿Para qué puedo usar video-ai-talking?
Crear videos explicativos cortos de una persona hablando sin grabar cada toma. Producir clips verticales para plataformas de videos cortos a partir de una única grabación del rostro. Probar la creación de contenido doblado con IA de una persona hablando en modo simulado antes de pagar por llamadas a la API.
¿Cómo se instala video-ai-talking?
Clona el repositorio: git clone https://github.com/yizhi-chengzi/video-ai-talking.git Entra en la carpeta del proyecto: cd video-ai-talking Copia el archivo env de ejemplo: cp .env.example .env Instala las dependencias e inicia el servidor de desarrollo; después, abre http://127.0.0.1:5175: npm install && npm run dev
¿Dónde consigo video-ai-talking?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/yizhi-chengzi/video-ai-talking

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados