Framework Python de código aberto para criar agentes de IA multimodais e de voz em tempo real, com serviços intercambiáveis de fala, LLM e transporte.
16,6 mil2,9 milPythonBSD-2-ClauseAtualizado ontem
neural-maze/realtime-phone-agents-course
Curso semana a semana para criar uma central de atendimento por voz com IA usando FastRTC, Superlinked, Twilio, Opik e Runpod.
- Estrelas
- 1,109
- Forks
- 253
- Issues abertas
- 6
- Último commit
- há 9 meses
O que é?
Este curso, dividido em várias aulas, ensina a criar um sistema de agentes de voz com IA em tempo real. O exemplo usado ao longo do curso é uma imobiliária cujos funcionários são agentes de voz que atendem e fazem ligações pelo Twilio, pesquisam anúncios de imóveis com o Superlinked e mantêm conversas com baixa latência usando o FastRTC.
As aulas sobre fala e modelos abordam speech-to-text com Moonshine e Faster Whisper, text-to-speech com Kokoro e Orpheus 3B e a implantação de modelos open source em GPU pods do Runpod. As aulas seguintes adicionam vários avatares com personas e vozes distintas, prompts versionados e rastreamento completo de cada chamada pelo Opik.
Cada aula combina um artigo no Substack e uma sessão ao vivo com código publicado em sua própria branch e Jupyter notebooks. Antes de acompanhar as aulas, é necessário configurar e ter funcionando as API keys do Twilio, Runpod, Opik e Qdrant Cloud.
Recursos principais
- 01Agentes de voz atendem e fazem ligações pelo Twilio
- 02Speech-to-text e text-to-speech em tempo real, com opções de modelos locais e hospedados
- 03Busca de imóveis em dados estruturados e textuais usando o Superlinked
- 04Modelos Whisper e Orpheus auto-hospedados e implantados em GPU pods do Runpod
- 05Agentes com vários avatares, cada um com sua própria persona, seus prompts e sua voz
- 06Rastreamento das etapas de transcrição, LLM, ferramentas e TTS com o Opik
Casos de uso
- Aprender a criar agentes de voz para chamadas de clientes, com estrutura semelhante à de produção
- Prototipar uma recepcionista com IA ou uma central de atendimento que pesquise em um banco de dados de produtos ou anúncios
- Comparar modelos de fala locais e hospedados em GPU em um pipeline de voz funcional
Início rápido
- 1
Leia o guia de configuração em docs/GETTINGS_STARTED.md para configurar seu ambiente e instalar as dependências
- 2
Inicie o aplicativo da central de atendimento (FastAPI na porta 8000 via Docker Compose)
make start-call-center - 3
Exponha seu servidor local à internet com o ngrok
make start-ngrok-tunnel
Antes de usar
- Este é um curso, não uma ferramenta pronta para usar, e é desenvolvido semana a semana.
- Para conectar chamadas telefônicas reais, é preciso ter uma conta Twilio e um túnel ngrok.
- Vários componentes dependem de serviços pagos ou com suporte de GPU, como Runpod e Groq.
Tópicos
Perguntas frequentes
- O que é realtime-phone-agents-course?
- Curso semana a semana para criar uma central de atendimento por voz com IA usando FastRTC, Superlinked, Twilio, Opik e Runpod. Este curso, dividido em várias aulas, ensina a criar um sistema de agentes de voz com IA em tempo real. O exemplo usado ao longo do curso é uma imobiliária cujos funcionários são agentes de voz que atendem e fazem ligações pelo Twilio, pesquisam anúncios de imóveis com o Superlinked e mantêm conversas com baixa latência usando o FastRTC.
- realtime-phone-agents-course é gratuito? Qual é a licença?
- realtime-phone-agents-course é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- realtime-phone-agents-course ainda é mantido?
- Sem commits há mais de 6 meses. O último commit de realtime-phone-agents-course foi em 10 de jan. de 2026.
- Para que posso usar realtime-phone-agents-course?
- Aprender a criar agentes de voz para chamadas de clientes, com estrutura semelhante à de produção Prototipar uma recepcionista com IA ou uma central de atendimento que pesquise em um banco de dados de produtos ou anúncios Comparar modelos de fala locais e hospedados em GPU em um pipeline de voz funcional
- Como instalar realtime-phone-agents-course?
- Leia o guia de configuração em docs/GETTINGS_STARTED.md para configurar seu ambiente e instalar as dependências Inicie o aplicativo da central de atendimento (FastAPI na porta 8000 via Docker Compose): make start-call-center Exponha seu servidor local à internet com o ngrok: make start-ngrok-tunnel
- Onde consigo realtime-phone-agents-course?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/neural-maze/realtime-phone-agents-course
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Kit de ferramentas open source e local para transcrição de fala, reconhecimento de intenções e síntese de voz, voltado a agentes de voz e apps em tempo real.
11,3 mil620C++OtherAtualizado há 18 dias
Biblioteca C++ com bindings para Python que permite fazer busca por similaridade e clustering eficientes de vetores densos, com aceleração opcional por GPU.
41,2 mil4,6 milC++MITAtualizado há 15 horas
Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,1 mil3,6 milPythonMITAtualizado há 3 meses
Ferramenta de código aberto que traduz vídeos para outros idiomas, com reconhecimento de fala, tradução de legendas, dublagem com IA e síntese de áudio e vídeo.
IA e Machine Learning#video-translation#speech-to-text#subtitle-translation#text-to-speech#ai-dubbing
19,5 mil2,4 milPythonGPL-3.0Atualizado há 5 dias
Kit de ferramentas de fala offline com onnxruntime para reconhecimento de fala, síntese de voz, VAD, diarização e muito mais, em várias plataformas e idiomas.
15,4 mil1,8 milC++Apache-2.0Atualizado há 8 horas