Framework Python de código aberto para criar agentes de IA multimodais e de voz em tempo real, com serviços intercambiáveis de fala, LLM e transporte.
TEN-framework/ten-framework
Framework de código aberto para agentes de IA conversacional por voz, multimodais e em tempo real, com exemplos prontos e um designer visual.
- Estrelas
- 11,183
- Forks
- 1,366
- Issues abertas
- 249
- Último commit
- há 4 horas
O que é?
TEN é um framework de código aberto para criar agentes de IA conversacional multimodais em tempo real. Ele conecta reconhecimento de fala, modelos de linguagem e síntese de fala em um pipeline composto por extensões modulares, permitindo que desenvolvedores montem um agente de voz e troquem componentes individualmente sem reescrever todo o sistema.
O repositório inclui vários exemplos de agentes: um assistente de voz para múltiplos fins que aceita conexões RTC e WebSocket, um assistente com Live2D e avatares com sincronização labial, uma extensão SIP para chamadas telefônicas, uma demonstração de diarização de locutores, uma ferramenta de transcrição e uma integração com hardware ESP32-S3. O TMAN Designer permite configurar extensões e suas chaves de API pelo navegador, e os exemplos podem ser executados localmente com Docker ou no GitHub Codespaces.
Para implantação, o backend de exemplo é distribuído como uma imagem Docker que pode ser executada em qualquer plataforma de contêineres, enquanto o frontend pode ser hospedado separadamente em serviços como Vercel ou Netlify.
Recursos principais
- 01Pipeline de extensões modulares que conecta reconhecimento de fala, LLMs e síntese de fala.
- 02Assistente de voz compatível com conexões RTC e WebSocket.
- 03TMAN Designer visual para configurar extensões e chaves de API pelo navegador.
- 04Exemplos de sincronização labial com Live2D e avatares, além de uma extensão SIP para chamadas telefônicas.
- 05Implantação baseada em Docker, com o frontend podendo ser implantado separadamente na Vercel ou na Netlify.
Casos de uso
- Criar um assistente de voz que responde à fala do usuário com um LLM e voz sintetizada.
- Adicionar um agente de voz com IA a chamadas telefônicas usando a extensão SIP.
- Prototipar um avatar animado ou personagem Live2D que fala com sincronização labial.
- Conectar um agente de voz a hardware ESP32-S3 para oferecer recursos conversacionais embarcados.
Tópicos
Perguntas frequentes
- O que é ten-framework?
- Framework de código aberto para agentes de IA conversacional por voz, multimodais e em tempo real, com exemplos prontos e um designer visual. TEN é um framework de código aberto para criar agentes de IA conversacional multimodais em tempo real. Ele conecta reconhecimento de fala, modelos de linguagem e síntese de fala em um pipeline composto por extensões modulares, permitindo que desenvolvedores montem um agente de voz e troquem componentes individualmente sem reescrever todo o sistema.
- ten-framework é gratuito? Qual é a licença?
- ten-framework é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ten-framework ainda é mantido?
- Manutenção ativa. O último commit de ten-framework foi em 21 de out. de 2026.
- Para que posso usar ten-framework?
- Criar um assistente de voz que responde à fala do usuário com um LLM e voz sintetizada. Adicionar um agente de voz com IA a chamadas telefônicas usando a extensão SIP. Prototipar um avatar animado ou personagem Live2D que fala com sincronização labial. Conectar um agente de voz a hardware ESP32-S3 para oferecer recursos conversacionais embarcados.
- Onde consigo ten-framework?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/TEN-framework/ten-framework
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Estúdio de voz com IA, open source e local-first para clonar vozes, gerar fala, ditar em qualquer app e dar voz a agentes de IA.
Plataforma open source de IA de voz que você pode hospedar por conta própria para criar, testar e implantar agentes de voz para telefone e navegador, com editor visual de fluxos e suporte a MCP.
Tradução de voz bidirecional em tempo real para reuniões bilíngues, com provedores na nuvem ou modelos locais totalmente offline, como app desktop e extensão para navegador.
Estúdio de voz open source e local-first para clonagem e criação de vozes, dublagem de vídeos, ditado, transcrição e criação de audiolivros em 646 idiomas.
Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.