Repolode
pipecat-ai

pipecat-ai/pipecat

开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。

Star
16,606
Fork
2,904
未关闭 Issue
398
最近提交
13小时前

这是什么?

Pipecat 是一个用 Python 构建实时对话智能体的框架,支持语音、视频等多模态输入。开发者将智能体组织为由多个模块化处理器组成的管道,涵盖语音识别、大模型调用、语音合成和传输层,每个环节都可以单独替换,无需改动其他部分。

项目集成了大量服务:多家语音识别、大语言模型和语音合成供应商,并支持 OpenAI Realtime、Gemini Multimodal Live 等语音到语音服务。传输方式包括基于 Daily、LiveKit、Vonage 的 WebRTC,以及 WebSocket 和 FastAPI WebSocket;电话接入则提供 Twilio、Telnyx 等平台的序列化器。项目也支持多智能体场景,管道之间可以交接或并行运行。

命令行工具 `pipecat init` 可快速生成项目骨架,官方客户端 SDK 覆盖 JavaScript、React、iOS、Android 和 C++。框架以 `pipecat-ai` 包发布,采用 BSD-2-Clause 许可证。

核心功能

  • 01由语音、大模型、语音合成等模块化处理器组成可组合的管道
  • 02集成多家语音识别、大语言模型与语音合成供应商
  • 03支持 OpenAI Realtime、Gemini Multimodal Live 等语音到语音服务
  • 04提供 WebRTC 与 WebSocket 传输,并支持 Twilio 等电话平台
  • 05支持多智能体交接与并行管道
  • 06提供项目脚手架 CLI,以及 Web 和移动端客户端 SDK

适用场景

  • 构建可实时接听电话或与用户语音对话的语音助手
  • 开发结合语音与视觉模型的视频或多模态机器人
  • 搭建客户登记、客服等结构化业务智能体
  • 协调多个专业智能体之间的对话交接

快速上手

  1. 1

    安装 Pipecat CLI

    uv tool install "pipecat-ai[cli]"
  2. 2

    使用快速入门模板创建项目

    pipecat init quickstart

标签

常见问题

pipecat 是什么?
开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。 Pipecat 是一个用 Python 构建实时对话智能体的框架,支持语音、视频等多模态输入。开发者将智能体组织为由多个模块化处理器组成的管道,涵盖语音识别、大模型调用、语音合成和传输层,每个环节都可以单独替换,无需改动其他部分。
pipecat 可以免费使用吗?用的什么许可证?
pipecat 以 BSD-2-Clause 许可证开源。用于商业产品前,请先确认许可证条款。
pipecat 还在维护吗?
活跃维护中。pipecat 最近一次提交是在 2026年10月19日。
pipecat 适合用来做什么?
构建可实时接听电话或与用户语音对话的语音助手 开发结合语音与视觉模型的视频或多模态机器人 搭建客户登记、客服等结构化业务智能体 协调多个专业智能体之间的对话交接
pipecat 怎么安装和运行?
安装 Pipecat CLI: uv tool install "pipecat-ai[cli]" 使用快速入门模板创建项目: pipecat init quickstart
在哪里获取 pipecat?
源代码和安装说明在 GitHub 上:https://github.com/pipecat-ai/pipecat

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目