Repolode
neural-maze

neural-maze/realtime-phone-agents-course

FastRTC、Superlinked、Twilio、Opik、RunpodでAI音声コールセンターを構築する週ごとの講座。

スター
1,109
フォーク
253
未解決の Issue
6
最終コミット
9 か月前

これは何?

リアルタイムAI音声エージェントシステムの構築を段階的に学べる、複数レッスンで構成された講座です。実例として、不動産会社の従業員が音声エージェントとなり、Twilio経由で電話の発着信に対応し、Superlinkedで物件情報を検索し、FastRTCを使って低遅延の会話を行うシステムを構築します。

音声・モデル関連の内容では、MoonshineとFaster Whisperによる音声認識、KokoroとOrpheus 3Bによる音声合成、Runpod GPU podでのオープンソースモデルのデプロイを扱います。後半のレッスンでは、異なるペルソナと音声を持つ複数のアバター、バージョン管理されたプロンプト、Opikによる通話ごとの詳細なトレーシングを追加します。

各レッスンでは、Substackの記事とライブセッションに加え、専用ブランチにプッシュされたコードとJupyter notebookを用意しています。レッスンを実行するには、Twilio、Runpod、Opik、Qdrant CloudのAPIキーを設定しておく必要があります。

主な機能

  • 01Twilio経由で音声エージェントが電話の着信・発信に対応
  • 02ローカルモデルとホスト型モデルを選べるリアルタイム音声認識・音声合成
  • 03Superlinkedを使った構造化データおよびテキストデータの物件検索
  • 04WhisperとOrpheusモデルをRunpod GPU podにデプロイしてセルフホスト
  • 05アバターごとにペルソナ、プロンプト、音声を設定したマルチアバターエージェント
  • 06Opikによる音声認識、LLM、ツール、TTS各処理のトレーシング

ユースケース

  • 本番環境を想定した顧客対応用音声エージェントの構築方法を学ぶ
  • 商品や物件のデータベースを検索するAI受付・コールセンターのプロトタイプを作る
  • 動作する音声パイプラインで、ローカルとGPUホスト型の音声モデルを比較する

クイックスタート

  1. 1

    docs/GETTINGS_STARTED.md のセットアップガイドを読み、環境を設定して依存関係をインストールします

  2. 2

    コールセンターアプリケーションを起動します(Docker Compose 経由で FastAPI をポート 8000 で実行)

    make start-call-center
  3. 3

    ngrok を使ってローカルサーバーをインターネットに公開します

    make start-ngrok-tunnel

使う前に知っておきたいこと

  • これはすぐに使えるツールではなく、週ごとに構築していくコースです。
  • 実際の電話通話を接続するには、Twilio アカウントと ngrok トンネルが必要です。
  • 複数のコンポーネントが、Runpod や Groq などの有料サービスまたは GPU を利用するサービスに依存しています。

トピック

よくある質問

realtime-phone-agents-course とは?
FastRTC、Superlinked、Twilio、Opik、RunpodでAI音声コールセンターを構築する週ごとの講座。 リアルタイムAI音声エージェントシステムの構築を段階的に学べる、複数レッスンで構成された講座です。実例として、不動産会社の従業員が音声エージェントとなり、Twilio経由で電話の発着信に対応し、Superlinkedで物件情報を検索し、FastRTCを使って低遅延の会話を行うシステムを構築します。
realtime-phone-agents-course は無料で使えますか?ライセンスは?
realtime-phone-agents-course は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
realtime-phone-agents-course は今もメンテナンスされていますか?
半年以上コミットなし。realtime-phone-agents-course の最終コミットは 2026年1月10日 です。
realtime-phone-agents-course は何に使えますか?
本番環境を想定した顧客対応用音声エージェントの構築方法を学ぶ 商品や物件のデータベースを検索するAI受付・コールセンターのプロトタイプを作る 動作する音声パイプラインで、ローカルとGPUホスト型の音声モデルを比較する
realtime-phone-agents-course のインストール方法は?
docs/GETTINGS_STARTED.md のセットアップガイドを読み、環境を設定して依存関係をインストールします コールセンターアプリケーションを起動します(Docker Compose 経由で FastAPI をポート 8000 で実行): make start-call-center ngrok を使ってローカルサーバーをインターネットに公開します: make start-ngrok-tunnel
realtime-phone-agents-course はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/neural-maze/realtime-phone-agents-course

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト