Repolode
提交项目
livekit

livekit/agents

一个用于构建实时语音与视频 AI 智能体的 Python 框架，智能体以服务端参与者身份加入 LiveKit 房间。

在 GitHub 查看官网
Star
14,887
Fork
3,979
未关闭 Issue
802
最近提交
8小时前

这是什么？

Agents 是一个 Python 框架，用于构建运行在服务端、可编程的实时参与者。开发者可以用它创建能听、能看并实时回应的对话式语音智能体，并通过调度 API 将终端用户连接到智能体，智能体在 LiveKit 房间中工作。

框架允许在同一条流程中组合语音识别（STT）、大语言模型（LLM）、语音合成（TTS）以及实时模型服务。它内置基于 Transformer 模型的语义轮次检测，用于判断用户是否说完，以减少打断。框架原生支持 MCP，可用一行代码接入 MCP 服务器提供的工具，并能通过 RPC 和数据 API 与客户端交换数据。电话集成功能让智能体可以拨打或接听电话。

智能体可以在终端中本地测试，也可以在支持热重载的开发模式或生产模式下运行。项目还提供内置测试框架，可用评审器（judge）检查智能体行为。项目采用 Apache-2.0 许可证，整套技术栈可与 LiveKit 服务器一起自部署。

核心功能

  • 01在同一条流程中自由组合 STT、LLM、TTS 和实时 API 服务商。
  • 02基于 Transformer 模型的语义轮次检测，减少用户被打断的情况。
  • 03原生支持 MCP，可接入 MCP 服务器提供的工具。
  • 04支持电话拨入与拨出的电话集成。
  • 05通过 RPC 和数据 API 与客户端交换数据。
  • 06内置测试框架，可用评审器检查智能体行为。

适用场景

  • 构建通过电话接听问题的客服语音智能体。
  • 开发自动拨打电话的外呼智能体。
  • 为房间内所有用户生成转录文本的多人转录工具。
  • 开发能够处理用户实时视频画面的视觉助手。

快速上手

  1. 1

    安装核心库及模型提供商插件

    pip install "livekit-agents[openai,deepgram,cartesia]"
  2. 2

    设置 LIVEKIT_URL、LIVEKIT_API_KEY 和 LIVEKIT_API_SECRET 环境变量

  3. 3

    将示例代码保存为 myagent.py 并在终端模式下测试

    python myagent.py console

使用前须知

  • 快速入门示例依赖 LiveKit Inference 或外部模型提供商的 API 密钥，这些通常是付费服务。
  • 要连接实时房间，需要 LiveKit Cloud 账户或自托管的 LiveKit 服务器。

标签

#voice-ai#agents#real-time#webrtc#llm#speech-to-text#text-to-speech#python#ai#openai

常见问题

agents 是什么？
一个用于构建实时语音与视频 AI 智能体的 Python 框架，智能体以服务端参与者身份加入 LiveKit 房间。 Agents 是一个 Python 框架，用于构建运行在服务端、可编程的实时参与者。开发者可以用它创建能听、能看并实时回应的对话式语音智能体，并通过调度 API 将终端用户连接到智能体，智能体在 LiveKit 房间中工作。
agents 可以免费使用吗？用的什么许可证？
agents 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
agents 还在维护吗？
活跃维护中。agents 最近一次提交是在 2026年10月22日。
agents 适合用来做什么？
构建通过电话接听问题的客服语音智能体。 开发自动拨打电话的外呼智能体。 为房间内所有用户生成转录文本的多人转录工具。 开发能够处理用户实时视频画面的视觉助手。
agents 怎么安装和运行？
安装核心库及模型提供商插件: pip install "livekit-agents[openai,deepgram,cartesia]" 设置 LIVEKIT_URL、LIVEKIT_API_KEY 和 LIVEKIT_API_SECRET 环境变量 将示例代码保存为 myagent.py 并在终端模式下测试: python myagent.py console
在哪里获取 agents？
源代码和安装说明在 GitHub 上：https://github.com/livekit/agents

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目