Biblioteca open source de text-to-speech cujo modelo KittenTTS 2 clona vozes com 5 segundos de áudio e funciona em tempo real na CPU.
16,3 mil976PythonApache-2.0Atualizado há 3 horas
Leonxlnx/earshot
Kit de ferramentas que roda apenas na CPU e permite que agentes de programação ouçam áudio: descrevam, comparem, encontrem, avaliem e sintetizem sons via CLI, API Python e servidor MCP.
- Estrelas
- 2,129
- Forks
- 125
- Issues abertas
- 5
- Último commit
- há 10 horas
O que é?
earshot permite que agentes de programação com IA ouçam. Ele descreve em palavras como soa um arquivo de áudio, avalia o quanto uma descrição em texto corresponde a uma gravação, encontra os melhores momentos em áudios longos, sinaliza se um som é uma gravação real ou foi sintetizado por código e produz uma transcrição do áudio de vídeo, segundo a segundo, com marcadores sincronizados aos cortes da imagem. Ele roda localmente na CPU e está disponível como CLI, API Python e servidor MCP para Claude Code e outros agentes.
Além de ouvir, o projeto inclui uma forja que escreve sons como código: receitas de síntese física são renderizadas, avaliadas por um crítico baseado nos mesmos modelos e refinadas por meio de busca. Um comando fit converte uma gravação existente em uma receita de síntese parametrizada que pode ser variada ou transformada. Um banco integrado de 201 efeitos sonoros pode ser renderizado por ID, sem modelos nem acesso à rede, e inclui presets de kits para design de som para filmes.
O repositório não contém áudio nem vídeo; as gravações de referência usadas na avaliação são licenciadas separadamente. Os modelos são baixados uma vez do Hugging Face em revisões fixadas e armazenados em cache para uso offline.
Recursos principais
- 01Descreve sons com tags calibradas, medições e rótulos do AudioSet.
- 02Avalia o quanto uma descrição em texto corresponde a uma gravação e informa um veredito de intensidade.
- 03Encontra os melhores momentos correspondentes em gravações longas e os apresenta como recortes.
- 04Classifica clipes como gravações reais ou sons sintetizados por código.
- 05Produz transcrições em linha do tempo e folhas anotadas para trilhas sonoras de vídeos.
- 06Sintetiza efeitos sonoros a partir de receitas em código, avaliados por um crítico integrado.
- 07Disponibiliza todas as ferramentas por meio de CLI, API Python e servidor MCP.
Casos de uso
- Permitir que um agente de programação verifique se os efeitos sonoros gerados correspondem ao som pretendido.
- Escolher os melhores candidatos em uma pasta de clipes de áudio baixados.
- Auditar a sincronização e o volume da trilha sonora de um vídeo gerado por código.
- Gerar efeitos sonoros offline para fluxos programáticos de produção de filmes ou interfaces de usuário.
Início rápido
- 1
Instale o earshot seguindo as instruções do README
- 2
Verifique a instalação, os modelos e as configurações da CPU
earshot doctor - 3
Descreva como é o som de um arquivo de áudio
earshot describe FILE
Antes de usar
- Cada chamada à CLI recarrega os modelos, o que leva cerca de 20 a 40 segundos antes de responder.
- A busca baseada em referências do Forge exige gravações de referência licenciadas por você, que não estão incluídas no repositório.
- A busca pode contornar as verificações de qualidade do som gerado, por isso é preciso ouvir e medir os resultados.
- O comando opcional llm envia o áudio para o Gemini e exige sua própria chave de API.
Em coleções
Tópicos
Perguntas frequentes
- O que é earshot?
- Kit de ferramentas que roda apenas na CPU e permite que agentes de programação ouçam áudio: descrevam, comparem, encontrem, avaliem e sintetizem sons via CLI, API Python e servidor MCP. earshot permite que agentes de programação com IA ouçam. Ele descreve em palavras como soa um arquivo de áudio, avalia o quanto uma descrição em texto corresponde a uma gravação, encontra os melhores momentos em áudios longos, sinaliza se um som é uma gravação real ou foi sintetizado por código e produz uma transcrição do áudio de vídeo, segundo a segundo, com marcadores sincronizados aos cortes da imagem. Ele roda localmente na CPU e está disponível como CLI, API Python e servidor MCP para Claude Code e outros agentes.
- earshot é gratuito? Qual é a licença?
- earshot é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- earshot ainda é mantido?
- Manutenção ativa. O último commit de earshot foi em 22 de out. de 2026.
- Para que posso usar earshot?
- Permitir que um agente de programação verifique se os efeitos sonoros gerados correspondem ao som pretendido. Escolher os melhores candidatos em uma pasta de clipes de áudio baixados. Auditar a sincronização e o volume da trilha sonora de um vídeo gerado por código. Gerar efeitos sonoros offline para fluxos programáticos de produção de filmes ou interfaces de usuário.
- Como instalar earshot?
- Instale o earshot seguindo as instruções do README Verifique a instalação, os modelos e as configurações da CPU: earshot doctor Descreva como é o som de um arquivo de áudio: earshot describe FILE
- Onde consigo earshot?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Leonxlnx/earshot
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Modelo multilíngue de conversão de texto em fala com 0,1 bilhão de parâmetros, que funciona em tempo real na CPU, clona vozes e gera áudio estéreo a 48 kHz.
4,5 mil564PythonApache-2.0Atualizado há 2 meses
Toolkit de motion design que permite a agentes de programação, como Claude Code, criar vídeos com Remotion usando cenas guiadas por timeline, revisão visual e um mecanismo de áudio em Python.
60881JavaScriptMITAtualizado há 13 dias
O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos.
39,9 mil4,5 milPythonApache-2.0Atualizado há 15 dias
Sistema open source de text-to-speech com clonagem de voz, controle de emoção em linguagem natural e geração com vários falantes, baseado em modelos no estilo LLM.
33,4 mil2,9 milPythonOtherAtualizado há 9 dias
Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,2 mil3,7 milPythonMITAtualizado há 3 meses