自托管的 OpenAI 兼容 AI 引擎,可在任意硬件(含纯 CPU)上运行大模型、视觉、语音、图像和视频模型。
pipecat-ai/pipecat
开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。
- Star
- 16,606
- Fork
- 2,904
- 未关闭 Issue
- 398
- 最近提交
- 13小时前
这是什么?
Pipecat 是一个用 Python 构建实时对话智能体的框架,支持语音、视频等多模态输入。开发者将智能体组织为由多个模块化处理器组成的管道,涵盖语音识别、大模型调用、语音合成和传输层,每个环节都可以单独替换,无需改动其他部分。
项目集成了大量服务:多家语音识别、大语言模型和语音合成供应商,并支持 OpenAI Realtime、Gemini Multimodal Live 等语音到语音服务。传输方式包括基于 Daily、LiveKit、Vonage 的 WebRTC,以及 WebSocket 和 FastAPI WebSocket;电话接入则提供 Twilio、Telnyx 等平台的序列化器。项目也支持多智能体场景,管道之间可以交接或并行运行。
命令行工具 `pipecat init` 可快速生成项目骨架,官方客户端 SDK 覆盖 JavaScript、React、iOS、Android 和 C++。框架以 `pipecat-ai` 包发布,采用 BSD-2-Clause 许可证。
核心功能
- 01由语音、大模型、语音合成等模块化处理器组成可组合的管道
- 02集成多家语音识别、大语言模型与语音合成供应商
- 03支持 OpenAI Realtime、Gemini Multimodal Live 等语音到语音服务
- 04提供 WebRTC 与 WebSocket 传输,并支持 Twilio 等电话平台
- 05支持多智能体交接与并行管道
- 06提供项目脚手架 CLI,以及 Web 和移动端客户端 SDK
适用场景
- 构建可实时接听电话或与用户语音对话的语音助手
- 开发结合语音与视觉模型的视频或多模态机器人
- 搭建客户登记、客服等结构化业务智能体
- 协调多个专业智能体之间的对话交接
快速上手
- 1
安装 Pipecat CLI
uv tool install "pipecat-ai[cli]" - 2
使用快速入门模板创建项目
pipecat init quickstart
标签
常见问题
- pipecat 是什么?
- 开源 Python 框架,用于构建实时语音和多模态 AI 智能体,可插拔接入语音、大模型与传输服务。 Pipecat 是一个用 Python 构建实时对话智能体的框架,支持语音、视频等多模态输入。开发者将智能体组织为由多个模块化处理器组成的管道,涵盖语音识别、大模型调用、语音合成和传输层,每个环节都可以单独替换,无需改动其他部分。
- pipecat 可以免费使用吗?用的什么许可证?
- pipecat 以 BSD-2-Clause 许可证开源。用于商业产品前,请先确认许可证条款。
- pipecat 还在维护吗?
- 活跃维护中。pipecat 最近一次提交是在 2026年10月19日。
- pipecat 适合用来做什么?
- 构建可实时接听电话或与用户语音对话的语音助手 开发结合语音与视觉模型的视频或多模态机器人 搭建客户登记、客服等结构化业务智能体 协调多个专业智能体之间的对话交接
- pipecat 怎么安装和运行?
- 安装 Pipecat CLI: uv tool install "pipecat-ai[cli]" 使用快速入门模板创建项目: pipecat init quickstart
- 在哪里获取 pipecat?
- 源代码和安装说明在 GitHub 上:https://github.com/pipecat-ai/pipecat
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源 Python 库,可将网页、PDF、图片、YouTube 视频或主题转换为多语言的 AI 播客音频对话。
面向双语会议的实时双向语音翻译工具,支持云端服务或完全离线的本地推理,提供桌面应用和浏览器扩展。
开源、本地运行的语音工作室,支持声音克隆、声音设计、视频配音、听写、转录和有声书制作。
开源文档解析工具,把 PDF、Office、HTML 等文件转换为结构化数据,供生成式 AI 使用。
本地优先的开源 AI 语音工作室,支持克隆声音、生成语音、语音听写和为 AI 智能体提供语音输出。