Repolode
neural-maze

neural-maze/realtime-phone-agents-course

一门分周讲解的课程,教你用 FastRTC、Superlinked、Twilio 等搭建 AI 语音呼叫中心。

Star
1,109
Fork
253
未关闭 Issue
6
最近提交
9个月前

这是什么?

这是一门分课时的实战课程,带你构建实时 AI 语音智能体系统。示例场景是一家房地产公司,其“员工”是语音智能体,通过 Twilio 接听和拨打电话,用 Superlinked 检索房源,并借助 FastRTC 进行低延迟对话。

语音相关部分涵盖使用 Moonshine 和 Faster Whisper 做语音识别,使用 Kokoro 和 Orpheus 3B 做语音合成,并把开源模型部署到 Runpod 的 GPU 实例上。后续课时加入了多个具有不同性格和声音的虚拟形象、提示词版本管理,以及通过 Opik 对每次通话进行完整追踪。

每节课配有 Substack 文章、直播回放、独立分支的代码和 Jupyter 笔记本。运行课程前需要先配置 Twilio、Runpod、Opik 和 Qdrant Cloud 的 API 密钥。

核心功能

  • 01通过 Twilio 实现语音智能体的呼入与呼出电话
  • 02提供本地与托管两类实时语音识别和语音合成方案
  • 03借助 Superlinked 对结构化与文本数据做房源检索
  • 04在 Runpod GPU 实例上部署自托管的 Whisper 和 Orpheus 模型
  • 05支持多个虚拟形象,各自拥有独立的人设、提示词和声音
  • 06用 Opik 追踪语音识别、大模型、工具调用和语音合成各环节

适用场景

  • 学习如何构建面向客服通话的生产级语音智能体
  • 原型化一个可检索商品或房源数据库的 AI 接待或呼叫中心
  • 在完整的语音链路中对比本地模型与 GPU 托管模型的效果

快速上手

  1. 1

    阅读 docs/GETTINGS_STARTED.md 中的设置指南,配置环境并安装依赖

  2. 2

    启动呼叫中心应用(通过 Docker Compose 在 8000 端口运行 FastAPI)

    make start-call-center
  3. 3

    使用 ngrok 将本地服务暴露到公网

    make start-ngrok-tunnel

使用前须知

  • 这是一门分周推进的课程,而不是开箱即用的工具。
  • 接听真实电话需要 Twilio 账户和 ngrok 隧道。
  • 多个组件依赖付费或 GPU 服务,例如 Runpod 和 Groq。

标签

常见问题

realtime-phone-agents-course 是什么?
一门分周讲解的课程,教你用 FastRTC、Superlinked、Twilio 等搭建 AI 语音呼叫中心。 这是一门分课时的实战课程,带你构建实时 AI 语音智能体系统。示例场景是一家房地产公司,其“员工”是语音智能体,通过 Twilio 接听和拨打电话,用 Superlinked 检索房源,并借助 FastRTC 进行低延迟对话。
realtime-phone-agents-course 可以免费使用吗?用的什么许可证?
realtime-phone-agents-course 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
realtime-phone-agents-course 还在维护吗?
超过半年未提交。realtime-phone-agents-course 最近一次提交是在 2026年1月10日。
realtime-phone-agents-course 适合用来做什么?
学习如何构建面向客服通话的生产级语音智能体 原型化一个可检索商品或房源数据库的 AI 接待或呼叫中心 在完整的语音链路中对比本地模型与 GPU 托管模型的效果
realtime-phone-agents-course 怎么安装和运行?
阅读 docs/GETTINGS_STARTED.md 中的设置指南,配置环境并安装依赖 启动呼叫中心应用(通过 Docker Compose 在 8000 端口运行 FastAPI): make start-call-center 使用 ngrok 将本地服务暴露到公网: make start-ngrok-tunnel
在哪里获取 realtime-phone-agents-course?
源代码和安装说明在 GitHub 上:https://github.com/neural-maze/realtime-phone-agents-course

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目