Framework de Python de código abierto para crear agentes de IA conversacionales en tiempo real, con servicios intercambiables de voz, LLM y transporte.
16,6 mil2,9 milPythonBSD-2-ClauseActualizado anteayer
asanchezyali/talking-avatar-with-ai
Un avatar humano digital que escucha, responde con GPT, habla con la voz de ElevenLabs y sincroniza los labios con Rhubarb.
- Estrellas
- 471
- Forks
- 113
- Issues abiertos
- 3
- Último commit
- el mes pasado
¿Qué es?
Este proyecto crea un humano digital parlante capaz de escuchar y responder. OpenAI GPT convierte las entradas de texto o voz en una respuesta, y Whisper transcribe el audio. Después, Eleven Labs convierte la respuesta en voz mediante texto a voz, y Rhubarb Lip Sync genera datos de visemas para que la boca del avatar coincida con el audio.
Se indica al LLM que devuelva un array JSON estructurado de hasta tres mensajes, cada uno con texto, una expresión facial y el nombre de una animación. El backend agrupa el audio y los datos de sincronización labial con cada mensaje, para que un cliente de frontend pueda reproducir la voz mientras el avatar hace las expresiones y los gestos correspondientes. El repositorio es un monorepo de yarn con un backend en apps/backend y un cliente web que se sirve en un puerto de desarrollo local.
La configuración requiere una clave de OpenAI, una clave de Eleven Labs con los ID de voz y modelo, los binarios de Rhubarb Lip-Sync en un directorio bin y ffmpeg instalado. El README recomienda un plan de pago de Eleven Labs, ya que el nivel gratuito puede fallar cuando hay muchas solicitudes.
Funciones clave
- 01Entrada de voz a texto mediante OpenAI Whisper.
- 02Respuestas generadas por GPT con campos estructurados para expresiones y animaciones.
- 03Síntesis de voz mediante la API TTS de Eleven Labs.
- 04Datos de visemas para la sincronización labial generados por Rhubarb Lip Sync.
- 05Estructura de monorepo con backend y cliente de navegador para desarrollo local.
Casos de uso
- Crear un prototipo de personaje conversacional para una demo o un juego.
- Aprender a encadenar LLM, voz a texto, TTS y sincronización labial en un mismo pipeline.
- Crear un presentador virtual o asistente con un rostro animado.
Inicio rápido
- 1
Clona el repositorio
- 2
Instala las dependencias del monorepo desde el directorio del proyecto
yarn - 3
Crea un archivo .env en /apps/backend/ con tus claves de OpenAI y Eleven Labs
- 4
Ejecuta el sistema de desarrollo
yarn dev
Antes de usarlo
- No se especifica ninguna licencia, por lo que los derechos de uso no están claros.
- Se necesitan suscripciones de pago a OpenAI y Eleven Labs; según se informa, el plan gratuito de Eleven Labs falla debido a los límites de solicitudes.
- Rhubarb Lip-Sync y ffmpeg deben instalarse manualmente antes de ejecutar el proyecto.
Temas
Preguntas frecuentes
- ¿Qué es talking-avatar-with-ai?
- Un avatar humano digital que escucha, responde con GPT, habla con la voz de ElevenLabs y sincroniza los labios con Rhubarb. Este proyecto crea un humano digital parlante capaz de escuchar y responder. OpenAI GPT convierte las entradas de texto o voz en una respuesta, y Whisper transcribe el audio. Después, Eleven Labs convierte la respuesta en voz mediante texto a voz, y Rhubarb Lip Sync genera datos de visemas para que la boca del avatar coincida con el audio.
- ¿talking-avatar-with-ai es gratuito? ¿Qué licencia tiene?
- talking-avatar-with-ai no declara ninguna licencia. Su código es público, pero sin licencia no tienes permiso explícito para reutilizarlo; consulta al autor antes de depender de él.
- ¿talking-avatar-with-ai sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de talking-avatar-with-ai fue el 16 sept 2026.
- ¿Para qué puedo usar talking-avatar-with-ai?
- Crear un prototipo de personaje conversacional para una demo o un juego. Aprender a encadenar LLM, voz a texto, TTS y sincronización labial en un mismo pipeline. Crear un presentador virtual o asistente con un rostro animado.
- ¿Cómo se instala talking-avatar-with-ai?
- Clona el repositorio Instala las dependencias del monorepo desde el directorio del proyecto: yarn Crea un archivo .env en /apps/backend/ con tus claves de OpenAI y Eleven Labs Ejecuta el sistema de desarrollo: yarn dev
- ¿Dónde consigo talking-avatar-with-ai?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/asanchezyali/talking-avatar-with-ai
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un framework de agentes que conecta humanos digitales (2.5D, 3D, móvil, PC y web) y LLM con sistemas empresariales.
13,6 mil2,4 milPythonGPL-3.0Actualizado el mes pasado
Herramienta de línea de comandos y biblioteca de Python para ejecutar prompts y chats con modelos de lenguaje grandes, remotos o instalados localmente.
12,6 mil1,1 milPythonApache-2.0Actualizado hace 3 días
Paquete de Python de código abierto que convierte sitios web, PDFs, imágenes, videos de YouTube o temas en conversaciones de podcast en audio y en varios idiomas usando GenAI.
6,7 mil778PythonApache-2.0Actualizado hace 6 meses
Aplicación de escritorio para crear humanos digitales con IA, con síntesis de video con sincronización labial, texto a voz, clonación de voz y gestión local de modelos de IA.
5,7 mil840VueApache-2.0Actualizado ayer
Herramienta local que convierte un clip grabado de una persona hablando y un guion en un MP4 vertical con voz en off generada por IA y sincronización labial automática.
48070TypeScriptMITActualizado hace 2 meses