sierra-research/tau2-bench

这是什么？

核心功能

• 01基于明确的策略、工具和任务模拟客服领域场景。
• 02同时支持文本回合制评测和全双工语音评测。
• 03内置航空、零售、电信、银行知识和信息采集等领域。
• 04提供六种语言的语言包，覆盖文本与语音。
• 05通过 `tau2` 命令行运行，支持试运行规划和结果查看。

适用场景

• 在贴近真实的客服任务上比较不同 LLM 或智能体设计。
• 检验智能体是否遵守业务策略并正确调用工具。
• 评估多语言客服电话场景下的语音智能体。
• 为强化学习或科研实验构建自定义智能体和领域。

快速上手

1. 1

   克隆代码仓库

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   进入项目目录并使用 uv 安装依赖

   cd tau2-bench && uv sync
3. 3

   创建 .env 文件并填入你的 API 密钥

   cp .env.example .env
4. 4

   在航空领域运行一次小规模评测

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

使用前须知

• !运行评测需要付费大模型服务商的 API 密钥。
• !需要 Python 3.12 或更高版本（低于 3.14）。
• !语音功能需要额外的系统依赖，并且需要你自行创建语音 ID。

标签

常见问题

tau2-bench 是什么？

用于评测客服类 AI 智能体的仿真基准，支持文本与语音场景下的工具调用与用户交互。 τ-Bench（tau2-bench）是一个仿真框架，用于测试 LLM 智能体处理客服类任务的能力。每个领域都定义了智能体必须遵守的策略、可调用的工具以及用于打分的任务集，内置航空、零售、电信、银行知识检索和实体信息采集（intake）等领域，并附带一个用于测试的 mock 领域。

tau2-bench 可以免费使用吗？用的什么许可证？

tau2-bench 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

tau2-bench 还在维护吗？

活跃维护中。tau2-bench 最近一次提交是在 2026年11月5日。

tau2-bench 适合用来做什么？

在贴近真实的客服任务上比较不同 LLM 或智能体设计。 检验智能体是否遵守业务策略并正确调用工具。 评估多语言客服电话场景下的语音智能体。 为强化学习或科研实验构建自定义智能体和领域。

tau2-bench 怎么安装和运行？

克隆代码仓库: git clone https://github.com/sierra-research/tau2-bench 进入项目目录并使用 uv 安装依赖: cd tau2-bench && uv sync 创建 .env 文件并填入你的 API 密钥: cp .env.example .env 在航空领域运行一次小规模评测: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

在哪里获取 tau2-bench？

源代码和安装说明在 GitHub 上：https://github.com/sierra-research/tau2-bench