CPUのみのマシンを含むあらゆるハードウェアで各種AIモデルを動かす、セルフホスト型のOpenAI互換AIエンジン。
pipecat-ai/pipecat
音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。
- スター
- 16,606
- フォーク
- 2,904
- 未解決の Issue
- 398
- 最終コミット
- 5 時間前
これは何?
Pipecatは、音声、動画などのマルチモーダル入力を扱うリアルタイム会話エージェントを構築するためのPythonフレームワークです。開発者は、音声認識、LLM呼び出し、音声合成、通信を担うモジュール式プロセッサをパイプラインとして組み合わせてエージェントを構築できます。そのため、ほかの部分を書き直さずに各処理段階を差し替えられます。
幅広い連携機能を備えており、多数の音声認識、言語モデル、音声合成プロバイダーに加え、OpenAI RealtimeやGemini Multimodal Liveなどの音声間サービスにも対応しています。通信方式として、Daily、LiveKit、Vonage経由のWebRTC、WebSocket、FastAPIのWebSocket接続を利用でき、TwilioやTelnyxなどのプロバイダー向けに電話通信のシリアライザーも用意されています。また、パイプライン間で処理を引き継いだり、並列実行したりするマルチエージェント構成にも対応すると説明されています。
CLI(`pipecat init`)で新規プロジェクトのひな形を作成できます。クライアントSDKはJavaScript、React、iOS、Android、C++向けに提供されています。このフレームワークはBSD-2-Clauseライセンスのもと、`pipecat-ai`パッケージとして配布されています。
主な機能
- 01音声、LLM、TTSの各処理段階に対応する、組み合わせ可能なモジュール式プロセッサのパイプライン
- 02音声認識、LLM、音声合成プロバイダーとの幅広い連携
- 03OpenAI RealtimeおよびGemini Multimodal Liveによる音声間処理
- 04WebRTCとWebSocketによる通信に加え、Twilioなどに対応する電話通信シリアライザー
- 05マルチエージェント間の処理引き継ぎと並列パイプライン
- 06プロジェクトのひな形を作成するCLIと、Web・モバイル向けクライアントSDK
ユースケース
- 電話に応答したり、ユーザーとリアルタイムに会話したりする音声アシスタントの構築
- 音声とビジョンモデルを組み合わせた動画・マルチモーダルボットの作成
- 顧客情報の受付やサポートフローなど、構造化された業務エージェントの開発
- 会話を引き継ぐ複数の専門エージェントの連携
クイックスタート
- 1
Pipecat CLIをインストールする
uv tool install "pipecat-ai[cli]" - 2
クイックスタートテンプレートでプロジェクトを作成する
pipecat init quickstart
トピック
よくある質問
- pipecat とは?
- 音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。 Pipecatは、音声、動画などのマルチモーダル入力を扱うリアルタイム会話エージェントを構築するためのPythonフレームワークです。開発者は、音声認識、LLM呼び出し、音声合成、通信を担うモジュール式プロセッサをパイプラインとして組み合わせてエージェントを構築できます。そのため、ほかの部分を書き直さずに各処理段階を差し替えられます。
- pipecat は無料で使えますか?ライセンスは?
- pipecat は BSD-2-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- pipecat は今もメンテナンスされていますか?
- 活発にメンテナンス中。pipecat の最終コミットは 2026年10月19日 です。
- pipecat は何に使えますか?
- 電話に応答したり、ユーザーとリアルタイムに会話したりする音声アシスタントの構築 音声とビジョンモデルを組み合わせた動画・マルチモーダルボットの作成 顧客情報の受付やサポートフローなど、構造化された業務エージェントの開発 会話を引き継ぐ複数の専門エージェントの連携
- pipecat のインストール方法は?
- Pipecat CLIをインストールする: uv tool install "pipecat-ai[cli]" クイックスタートテンプレートでプロジェクトを作成する: pipecat init quickstart
- pipecat はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/pipecat-ai/pipecat
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
WebサイトやPDFなどから多言語の音声ポッドキャストを生成するオープンソースのPythonパッケージ。
クラウドプロバイダーにも端末内の完全オフラインモデルにも対応した、会議向けリアルタイム双方向音声翻訳アプリ
AutoGPTは、自然言語やビジュアルビルダーで定義した複数ステップのワークフローを実行するAIエージェントを構築・実行・スケジュールできるオープンソースプラットフォームです。
トピックやキーワードから、台本・ナレーション・映像素材・字幕・音楽を自動生成して短い動画を作成します。
646言語に対応した、音声クローンや音声デザイン、動画吹き替え、文字起こしなどを行うローカル優先のオープンソース音声スタジオ。