Framework Python de código aberto para criar agentes de IA multimodais e de voz em tempo real, com serviços intercambiáveis de fala, LLM e transporte.
16,6 mil2,9 milPythonBSD-2-ClauseAtualizado anteontem
asanchezyali/talking-avatar-with-ai
Um avatar humano digital que escuta, responde com GPT, fala com a voz da ElevenLabs e sincroniza os lábios usando Rhubarb.
- Estrelas
- 471
- Forks
- 113
- Issues abertas
- 3
- Último commit
- mês passado
O que é?
Este projeto cria um humano digital falante que consegue ouvir e responder. A entrada, por texto ou voz, é transformada em uma resposta pelo GPT da OpenAI, e o Whisper transcreve o áudio recebido. Em seguida, a resposta ganha voz com a conversão de texto em fala da Eleven Labs, e o Rhubarb Lip Sync gera dados de visemas para sincronizar a boca do avatar com o áudio.
O LLM recebe instruções para retornar um array JSON estruturado com até três mensagens, cada uma contendo texto, uma expressão facial e o nome de uma animação. O backend agrupa o áudio e os dados de sincronização labial com cada mensagem, permitindo que um cliente front-end reproduza a fala enquanto o avatar faz as expressões e os gestos correspondentes. O repositório é um monorepo Yarn com um backend em apps/backend e um cliente web servido em uma porta de desenvolvimento local.
A configuração exige uma chave da OpenAI, uma chave da Eleven Labs com IDs de voz e modelo, os binários do Rhubarb Lip-Sync em um diretório bin e o ffmpeg instalado. O README recomenda um plano pago da Eleven Labs, pois o plano gratuito pode falhar com um volume alto de solicitações.
Recursos principais
- 01Entrada de fala para texto usando o OpenAI Whisper.
- 02Respostas geradas pelo GPT com campos estruturados de expressão e animação.
- 03Síntese de voz pela API TTS da Eleven Labs.
- 04Dados de visemas para sincronização labial gerados pelo Rhubarb Lip Sync.
- 05Estrutura de monorepo com um backend e um cliente de navegador para desenvolvimento local.
Casos de uso
- Prototipar um personagem conversacional para uma demonstração ou um jogo.
- Aprender a encadear LLM, fala para texto, TTS e sincronização labial em um único pipeline.
- Criar um apresentador virtual ou assistente com rosto animado.
Início rápido
- 1
Clone o repositório
- 2
Instale as dependências do monorepo a partir do diretório do projeto
yarn - 3
Crie um arquivo .env em /apps/backend/ com suas chaves da OpenAI e da Eleven Labs
- 4
Execute o sistema de desenvolvimento
yarn dev
Antes de usar
- Nenhuma licença é especificada, portanto os direitos de uso não estão claros.
- São necessárias assinaturas pagas da OpenAI e da Eleven Labs; segundo relatos, o plano gratuito da Eleven Labs falha devido aos limites de solicitações.
- Rhubarb Lip-Sync e ffmpeg precisam ser instalados manualmente antes de executar o projeto.
Tópicos
Perguntas frequentes
- O que é talking-avatar-with-ai?
- Um avatar humano digital que escuta, responde com GPT, fala com a voz da ElevenLabs e sincroniza os lábios usando Rhubarb. Este projeto cria um humano digital falante que consegue ouvir e responder. A entrada, por texto ou voz, é transformada em uma resposta pelo GPT da OpenAI, e o Whisper transcreve o áudio recebido. Em seguida, a resposta ganha voz com a conversão de texto em fala da Eleven Labs, e o Rhubarb Lip Sync gera dados de visemas para sincronizar a boca do avatar com o áudio.
- talking-avatar-with-ai é gratuito? Qual é a licença?
- talking-avatar-with-ai não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
- talking-avatar-with-ai ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de talking-avatar-with-ai foi em 16 de set. de 2026.
- Para que posso usar talking-avatar-with-ai?
- Prototipar um personagem conversacional para uma demonstração ou um jogo. Aprender a encadear LLM, fala para texto, TTS e sincronização labial em um único pipeline. Criar um apresentador virtual ou assistente com rosto animado.
- Como instalar talking-avatar-with-ai?
- Clone o repositório Instale as dependências do monorepo a partir do diretório do projeto: yarn Crie um arquivo .env em /apps/backend/ com suas chaves da OpenAI e da Eleven Labs Execute o sistema de desenvolvimento: yarn dev
- Onde consigo talking-avatar-with-ai?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/asanchezyali/talking-avatar-with-ai
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um framework de agentes que conecta humanos digitais (2.5D, 3D, mobile, PC e web) e LLMs (compatíveis com OpenAI e DeepSeek) a sistemas de negócios.
13,6 mil2,4 milPythonGPL-3.0Atualizado mês passado
Ferramenta de linha de comando e biblioteca Python para executar prompts e conversar com modelos de linguagem de grande porte remotos ou instalados localmente.
12,6 mil1,1 milPythonApache-2.0Atualizado há 3 dias
Pacote Python de código aberto que transforma sites, PDFs, imagens, vídeos do YouTube ou tópicos em conversas de podcast em áudio e em vários idiomas usando GenAI.
6,7 mil778PythonApache-2.0Atualizado há 6 meses
Aplicativo desktop para criar humanos digitais com IA, com síntese de vídeos com sincronização labial, conversão de texto em fala, clonagem de voz e gerenciamento local de modelos de IA.
5,7 mil840VueApache-2.0Atualizado ontem
Ferramenta local que transforma um vídeo gravado de uma pessoa falando e um roteiro em um MP4 vertical com narração por IA e sincronização labial automática.
48070TypeScriptMITAtualizado há 2 meses