sierra-research/tau2-bench

これは何？

主な機能

• 01ポリシー、ツール、タスクを定義したカスタマーサービスの各ドメインをシミュレーションします。
• 02ターン制のテキスト評価と全二重の音声評価に対応しています。
• 03航空、小売、通信、銀行のナレッジ検索、インテークの各ドメインを収録しています。
• 04テキストと音声で利用できる、6言語対応の言語パックを提供します。
• 05ドライランによる計画と結果の確認が可能な`tau2` CLIから実行できます。

ユースケース

• 現実的なカスタマーサービス業務で、LLMのモデルやエージェントの設計を比較する。
• エージェントがビジネスポリシーに従い、ツールを正しく呼び出すかテストする。
• 多言語でのカスタマーサービス通話に対応する音声エージェントを評価する。
• 強化学習や研究実験に向けて、独自のエージェントやドメインを構築する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   プロジェクトフォルダーに移動し、uvで依存関係をインストールする

   cd tau2-bench && uv sync
3. 3

   .envファイルを作成し、APIキーを追加する

   cp .env.example .env
4. 4

   航空業界ドメインで小規模な評価を実行する

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

使う前に知っておきたいこと

• !評価の実行には、有料LLMプロバイダーのAPIキーが必要です。
• !Python 3.12以上、3.14未満が必要です。
• !音声機能を使うには、追加のシステム依存関係と、自分で作成する音声IDが必要です。

トピック

よくある質問

tau2-bench とは？

ツールを使い、テキストや音声でユーザーと対話するカスタマーサービスAIエージェントを評価するシミュレーションベンチマーク。 τ-Bench（tau2-bench）は、LLMエージェントがカスタマーサービス業務にどの程度対応できるかをテストするシミュレーションフレームワークです。各ドメインには、エージェントが従うべきポリシー、呼び出せるツール、パフォーマンスの評価に使うタスクが定義されています。航空、小売、通信、銀行のナレッジ検索、エンティティ収集（インテーク）の各ドメインに加え、テスト用のモックドメインが用意されています。

tau2-bench は無料で使えますか？ライセンスは？

tau2-bench は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

tau2-bench は今もメンテナンスされていますか？

活発にメンテナンス中。tau2-bench の最終コミットは 2026年11月5日 です。

tau2-bench は何に使えますか？

現実的なカスタマーサービス業務で、LLMのモデルやエージェントの設計を比較する。 エージェントがビジネスポリシーに従い、ツールを正しく呼び出すかテストする。 多言語でのカスタマーサービス通話に対応する音声エージェントを評価する。 強化学習や研究実験に向けて、独自のエージェントやドメインを構築する。

tau2-bench のインストール方法は？

リポジトリをクローンする: git clone https://github.com/sierra-research/tau2-bench プロジェクトフォルダーに移動し、uvで依存関係をインストールする: cd tau2-bench && uv sync .envファイルを作成し、APIキーを追加する: cp .env.example .env 航空業界ドメインで小規模な評価を実行する: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

tau2-bench はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/sierra-research/tau2-bench