Repolode
pipecat-ai

pipecat-ai/pipecat

音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。

スター
16,606
フォーク
2,904
未解決の Issue
398
最終コミット
5 時間前

これは何?

Pipecatは、音声、動画などのマルチモーダル入力を扱うリアルタイム会話エージェントを構築するためのPythonフレームワークです。開発者は、音声認識、LLM呼び出し、音声合成、通信を担うモジュール式プロセッサをパイプラインとして組み合わせてエージェントを構築できます。そのため、ほかの部分を書き直さずに各処理段階を差し替えられます。

幅広い連携機能を備えており、多数の音声認識、言語モデル、音声合成プロバイダーに加え、OpenAI RealtimeやGemini Multimodal Liveなどの音声間サービスにも対応しています。通信方式として、Daily、LiveKit、Vonage経由のWebRTC、WebSocket、FastAPIのWebSocket接続を利用でき、TwilioやTelnyxなどのプロバイダー向けに電話通信のシリアライザーも用意されています。また、パイプライン間で処理を引き継いだり、並列実行したりするマルチエージェント構成にも対応すると説明されています。

CLI(`pipecat init`)で新規プロジェクトのひな形を作成できます。クライアントSDKはJavaScript、React、iOS、Android、C++向けに提供されています。このフレームワークはBSD-2-Clauseライセンスのもと、`pipecat-ai`パッケージとして配布されています。

主な機能

  • 01音声、LLM、TTSの各処理段階に対応する、組み合わせ可能なモジュール式プロセッサのパイプライン
  • 02音声認識、LLM、音声合成プロバイダーとの幅広い連携
  • 03OpenAI RealtimeおよびGemini Multimodal Liveによる音声間処理
  • 04WebRTCとWebSocketによる通信に加え、Twilioなどに対応する電話通信シリアライザー
  • 05マルチエージェント間の処理引き継ぎと並列パイプライン
  • 06プロジェクトのひな形を作成するCLIと、Web・モバイル向けクライアントSDK

ユースケース

  • 電話に応答したり、ユーザーとリアルタイムに会話したりする音声アシスタントの構築
  • 音声とビジョンモデルを組み合わせた動画・マルチモーダルボットの作成
  • 顧客情報の受付やサポートフローなど、構造化された業務エージェントの開発
  • 会話を引き継ぐ複数の専門エージェントの連携

クイックスタート

  1. 1

    Pipecat CLIをインストールする

    uv tool install "pipecat-ai[cli]"
  2. 2

    クイックスタートテンプレートでプロジェクトを作成する

    pipecat init quickstart

トピック

よくある質問

pipecat とは?
音声・マルチモーダルAIエージェントを構築するためのオープンソースPythonフレームワーク。音声処理、LLM、通信サービスを差し替えて利用できます。 Pipecatは、音声、動画などのマルチモーダル入力を扱うリアルタイム会話エージェントを構築するためのPythonフレームワークです。開発者は、音声認識、LLM呼び出し、音声合成、通信を担うモジュール式プロセッサをパイプラインとして組み合わせてエージェントを構築できます。そのため、ほかの部分を書き直さずに各処理段階を差し替えられます。
pipecat は無料で使えますか?ライセンスは?
pipecat は BSD-2-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
pipecat は今もメンテナンスされていますか?
活発にメンテナンス中。pipecat の最終コミットは 2026年10月19日 です。
pipecat は何に使えますか?
電話に応答したり、ユーザーとリアルタイムに会話したりする音声アシスタントの構築 音声とビジョンモデルを組み合わせた動画・マルチモーダルボットの作成 顧客情報の受付やサポートフローなど、構造化された業務エージェントの開発 会話を引き継ぐ複数の専門エージェントの連携
pipecat のインストール方法は?
Pipecat CLIをインストールする: uv tool install "pipecat-ai[cli]" クイックスタートテンプレートでプロジェクトを作成する: pipecat init quickstart
pipecat はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/pipecat-ai/pipecat

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト