开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。
neural-maze/realtime-phone-agents-course
一门分周讲解的课程,教你用 FastRTC、Superlinked、Twilio 等搭建 AI 语音呼叫中心。
- Star
- 1,109
- Fork
- 253
- 未关闭 Issue
- 6
- 最近提交
- 9个月前
这是什么?
这是一门分课时的实战课程,带你构建实时 AI 语音智能体系统。示例场景是一家房地产公司,其“员工”是语音智能体,通过 Twilio 接听和拨打电话,用 Superlinked 检索房源,并借助 FastRTC 进行低延迟对话。
语音相关部分涵盖使用 Moonshine 和 Faster Whisper 做语音识别,使用 Kokoro 和 Orpheus 3B 做语音合成,并把开源模型部署到 Runpod 的 GPU 实例上。后续课时加入了多个具有不同性格和声音的虚拟形象、提示词版本管理,以及通过 Opik 对每次通话进行完整追踪。
每节课配有 Substack 文章、直播回放、独立分支的代码和 Jupyter 笔记本。运行课程前需要先配置 Twilio、Runpod、Opik 和 Qdrant Cloud 的 API 密钥。
核心功能
- 01通过 Twilio 实现语音智能体的呼入与呼出电话
- 02提供本地与托管两类实时语音识别和语音合成方案
- 03借助 Superlinked 对结构化与文本数据做房源检索
- 04在 Runpod GPU 实例上部署自托管的 Whisper 和 Orpheus 模型
- 05支持多个虚拟形象,各自拥有独立的人设、提示词和声音
- 06用 Opik 追踪语音识别、大模型、工具调用和语音合成各环节
适用场景
- 学习如何构建面向客服通话的生产级语音智能体
- 原型化一个可检索商品或房源数据库的 AI 接待或呼叫中心
- 在完整的语音链路中对比本地模型与 GPU 托管模型的效果
快速上手
- 1
阅读 docs/GETTINGS_STARTED.md 中的设置指南,配置环境并安装依赖
- 2
启动呼叫中心应用(通过 Docker Compose 在 8000 端口运行 FastAPI)
make start-call-center - 3
使用 ngrok 将本地服务暴露到公网
make start-ngrok-tunnel
使用前须知
- 这是一门分周推进的课程,而不是开箱即用的工具。
- 接听真实电话需要 Twilio 账户和 ngrok 隧道。
- 多个组件依赖付费或 GPU 服务,例如 Runpod 和 Groq。
标签
常见问题
- realtime-phone-agents-course 是什么?
- 一门分周讲解的课程,教你用 FastRTC、Superlinked、Twilio 等搭建 AI 语音呼叫中心。 这是一门分课时的实战课程,带你构建实时 AI 语音智能体系统。示例场景是一家房地产公司,其“员工”是语音智能体,通过 Twilio 接听和拨打电话,用 Superlinked 检索房源,并借助 FastRTC 进行低延迟对话。
- realtime-phone-agents-course 可以免费使用吗?用的什么许可证?
- realtime-phone-agents-course 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- realtime-phone-agents-course 还在维护吗?
- 超过半年未提交。realtime-phone-agents-course 最近一次提交是在 2026年1月10日。
- realtime-phone-agents-course 适合用来做什么?
- 学习如何构建面向客服通话的生产级语音智能体 原型化一个可检索商品或房源数据库的 AI 接待或呼叫中心 在完整的语音链路中对比本地模型与 GPU 托管模型的效果
- realtime-phone-agents-course 怎么安装和运行?
- 阅读 docs/GETTINGS_STARTED.md 中的设置指南,配置环境并安装依赖 启动呼叫中心应用(通过 Docker Compose 在 8000 端口运行 FastAPI): make start-call-center 使用 ngrok 将本地服务暴露到公网: make start-ngrok-tunnel
- 在哪里获取 realtime-phone-agents-course?
- 源代码和安装说明在 GitHub 上:https://github.com/neural-maze/realtime-phone-agents-course
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源的端侧语音工具包,提供语音转文字、意图识别和文字转语音,适合构建实时语音应用与智能体。
一个基于 C++、提供 Python 接口的稠密向量相似度搜索与聚类库,可选 GPU 加速。
Resemble AI 开源的文本转语音模型系列,支持基于参考音频的声音克隆,覆盖英语及多种其他语言。
开源视频翻译工具,集成语音识别、字幕翻译、AI 配音与音视频合成。
基于 onnxruntime 的离线语音工具包,支持语音识别、语音合成、VAD、说话人分离等,覆盖多平台与多种编程语言。