音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。
livekit/agents
LiveKitのルームにサーバー側の参加者として接続する、リアルタイム音声・動画AIエージェントを構築するためのPythonフレームワーク。
- スター
- 14,887
- フォーク
- 3,979
- 未解決の Issue
- 802
- 最終コミット
- 4 時間前
これは何?
Agentsは、サーバー上で動作するリアルタイムかつプログラム可能な参加者を構築するためのPythonフレームワークです。開発者は、LiveKitのルーム内で音声を聞き、映像を見て応答する会話型のマルチモーダル音声エージェントを作成でき、dispatch APIを通じてエンドユーザーとエージェントを接続できます。
このフレームワークでは、音声認識、LLM、音声合成、リアルタイムモデルの各プロバイダーを1つのパイプラインに組み合わせられます。割り込みを減らすTransformerモデルベースのセマンティックなターン検出、MCPサーバーからツールを追加するためのネイティブMCPサポート、RPCやデータAPIを通じたクライアントとのデータ交換機能を備えています。また、テレフォニー連携により、エージェントから電話をかけたり、電話を受けたりできます。
Agentsは、テスト用にローカルのターミナルで実行できるほか、ホットリロードに対応した開発モードや本番モードでも動かせます。エージェントの挙動を判定者が確認できる、組み込みのテストフレームワークも付属しています。ライセンスはApache-2.0で、LiveKitサーバーとともにスタックをセルフホストできます。
主な機能
- 01音声認識、LLM、音声合成、リアルタイムAPIの各プロバイダーを1つのパイプラインに組み合わせられます。
- 02Transformerモデルを使ったセマンティックなターン検出により、割り込みを減らします。
- 03MCPサーバーからツールを読み込むネイティブMCPサポートを備えています。
- 04電話の発信と着信に対応するテレフォニー連携機能を備えています。
- 05RPCやデータAPIを通じてクライアントとデータを交換できます。
- 06エージェントの挙動を判定者が確認できる、組み込みのテストフレームワークを備えています。
ユースケース
- 電話で問い合わせに応答するカスタマーサポート音声エージェントの構築。
- 自動で電話をかけるアウトバウンドコールエージェントの作成。
- ルーム内の全員の文字起こしを生成する、複数ユーザー対応の文字起こし機能の追加。
- ユーザーのライブ動画に反応する、視覚機能を備えたアシスタントの開発。
クイックスタート
- 1
モデルプロバイダーのプラグインとともにコアライブラリをインストールします
pip install "livekit-agents[openai,deepgram,cartesia]" - 2
LIVEKIT_URL、LIVEKIT_API_KEY、LIVEKIT_API_SECRET の環境変数を設定します
- 3
サンプルエージェントを myagent.py として保存し、ターミナルモードでテストします
python myagent.py console
使う前に知っておきたいこと
- クイックスタートのサンプルでは、通常は有料サービスである LiveKit Inference または外部モデルプロバイダーの API キーが必要です。
- ライブルームに接続するには、LiveKit Cloud アカウントまたはセルフホストの LiveKit サーバーが必要です。
トピック
よくある質問
- agents とは?
- LiveKitのルームにサーバー側の参加者として接続する、リアルタイム音声・動画AIエージェントを構築するためのPythonフレームワーク。 Agentsは、サーバー上で動作するリアルタイムかつプログラム可能な参加者を構築するためのPythonフレームワークです。開発者は、LiveKitのルーム内で音声を聞き、映像を見て応答する会話型のマルチモーダル音声エージェントを作成でき、dispatch APIを通じてエンドユーザーとエージェントを接続できます。
- agents は無料で使えますか?ライセンスは?
- agents は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- agents は今もメンテナンスされていますか?
- 活発にメンテナンス中。agents の最終コミットは 2026年10月22日 です。
- agents は何に使えますか?
- 電話で問い合わせに応答するカスタマーサポート音声エージェントの構築。 自動で電話をかけるアウトバウンドコールエージェントの作成。 ルーム内の全員の文字起こしを生成する、複数ユーザー対応の文字起こし機能の追加。 ユーザーのライブ動画に反応する、視覚機能を備えたアシスタントの開発。
- agents のインストール方法は?
- モデルプロバイダーのプラグインとともにコアライブラリをインストールします: pip install "livekit-agents[openai,deepgram,cartesia]" LIVEKIT_URL、LIVEKIT_API_KEY、LIVEKIT_API_SECRET の環境変数を設定します サンプルエージェントを myagent.py として保存し、ターミナルモードでテストします: python myagent.py console
- agents はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/livekit/agents
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
リアルタイムのマルチモーダル対話型音声AIエージェントを構築するオープンソースフレームワーク。エージェントのサンプルとビジュアルデザイナーを備えています。
音声クローン、音声生成、あらゆるアプリへの音声入力、AIエージェントの音声化に対応するローカルファーストのオープンソースAI音声スタジオ。
クラウドプロバイダーにも端末内の完全オフラインモデルにも対応した、会議向けリアルタイム双方向音声翻訳アプリ
電話やブラウザで使う音声エージェントを構築・テスト・デプロイできる、ビジュアルワークフロービルダーとMCP対応のセルフホスト可能なオープンソース音声AIプラットフォーム。
音声を聞いてGPTで返答し、ElevenLabsの音声とRhubarbのリップシンクで話すデジタルヒューマンアバター。