音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。
neural-maze/realtime-phone-agents-course
FastRTC、Superlinked、Twilio、Opik、RunpodでAI音声コールセンターを構築する週ごとの講座。
- スター
- 1,109
- フォーク
- 253
- 未解決の Issue
- 6
- 最終コミット
- 9 か月前
これは何?
リアルタイムAI音声エージェントシステムの構築を段階的に学べる、複数レッスンで構成された講座です。実例として、不動産会社の従業員が音声エージェントとなり、Twilio経由で電話の発着信に対応し、Superlinkedで物件情報を検索し、FastRTCを使って低遅延の会話を行うシステムを構築します。
音声・モデル関連の内容では、MoonshineとFaster Whisperによる音声認識、KokoroとOrpheus 3Bによる音声合成、Runpod GPU podでのオープンソースモデルのデプロイを扱います。後半のレッスンでは、異なるペルソナと音声を持つ複数のアバター、バージョン管理されたプロンプト、Opikによる通話ごとの詳細なトレーシングを追加します。
各レッスンでは、Substackの記事とライブセッションに加え、専用ブランチにプッシュされたコードとJupyter notebookを用意しています。レッスンを実行するには、Twilio、Runpod、Opik、Qdrant CloudのAPIキーを設定しておく必要があります。
主な機能
- 01Twilio経由で音声エージェントが電話の着信・発信に対応
- 02ローカルモデルとホスト型モデルを選べるリアルタイム音声認識・音声合成
- 03Superlinkedを使った構造化データおよびテキストデータの物件検索
- 04WhisperとOrpheusモデルをRunpod GPU podにデプロイしてセルフホスト
- 05アバターごとにペルソナ、プロンプト、音声を設定したマルチアバターエージェント
- 06Opikによる音声認識、LLM、ツール、TTS各処理のトレーシング
ユースケース
- 本番環境を想定した顧客対応用音声エージェントの構築方法を学ぶ
- 商品や物件のデータベースを検索するAI受付・コールセンターのプロトタイプを作る
- 動作する音声パイプラインで、ローカルとGPUホスト型の音声モデルを比較する
クイックスタート
- 1
docs/GETTINGS_STARTED.md のセットアップガイドを読み、環境を設定して依存関係をインストールします
- 2
コールセンターアプリケーションを起動します(Docker Compose 経由で FastAPI をポート 8000 で実行)
make start-call-center - 3
ngrok を使ってローカルサーバーをインターネットに公開します
make start-ngrok-tunnel
使う前に知っておきたいこと
- これはすぐに使えるツールではなく、週ごとに構築していくコースです。
- 実際の電話通話を接続するには、Twilio アカウントと ngrok トンネルが必要です。
- 複数のコンポーネントが、Runpod や Groq などの有料サービスまたは GPU を利用するサービスに依存しています。
トピック
よくある質問
- realtime-phone-agents-course とは?
- FastRTC、Superlinked、Twilio、Opik、RunpodでAI音声コールセンターを構築する週ごとの講座。 リアルタイムAI音声エージェントシステムの構築を段階的に学べる、複数レッスンで構成された講座です。実例として、不動産会社の従業員が音声エージェントとなり、Twilio経由で電話の発着信に対応し、Superlinkedで物件情報を検索し、FastRTCを使って低遅延の会話を行うシステムを構築します。
- realtime-phone-agents-course は無料で使えますか?ライセンスは?
- realtime-phone-agents-course は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- realtime-phone-agents-course は今もメンテナンスされていますか?
- 半年以上コミットなし。realtime-phone-agents-course の最終コミットは 2026年1月10日 です。
- realtime-phone-agents-course は何に使えますか?
- 本番環境を想定した顧客対応用音声エージェントの構築方法を学ぶ 商品や物件のデータベースを検索するAI受付・コールセンターのプロトタイプを作る 動作する音声パイプラインで、ローカルとGPUホスト型の音声モデルを比較する
- realtime-phone-agents-course のインストール方法は?
- docs/GETTINGS_STARTED.md のセットアップガイドを読み、環境を設定して依存関係をインストールします コールセンターアプリケーションを起動します(Docker Compose 経由で FastAPI をポート 8000 で実行): make start-call-center ngrok を使ってローカルサーバーをインターネットに公開します: make start-ngrok-tunnel
- realtime-phone-agents-course はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/neural-maze/realtime-phone-agents-course
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
リアルタイム音声エージェントやアプリ向けの、音声認識・意図認識・音声合成に対応したオープンソースのオンデバイスツールキット。
密ベクトルの類似検索とクラスタリングを効率化する、PythonバインディングとオプションのGPUアクセラレーションを備えたC++ライブラリ。
Resemble AIによるオープンソースの音声合成モデルファミリー。短い参照音声から、英語をはじめ多言語で声をクローンできます。
音声認識、字幕翻訳、AI吹き替え、音声と映像の合成に対応した、動画を別の言語に翻訳するオープンソースツール。
onnxruntimeを使ったオフライン音声処理ツールキット。多くのプラットフォームと言語で、音声認識、音声合成、VAD、話者ダイアライゼーションなどに対応。