sierra-research/tau2-bench

Что это?

Ключевые возможности

• 01Симулирует домены клиентской поддержки с заданными правилами, инструментами и задачами.
• 02Поддерживает пошаговую оценку текстовых диалогов и полнодуплексную оценку голосовых разговоров.
• 03Включает домены авиаперевозок, розничной торговли, телекоммуникаций, банковского поиска информации и сбора данных о клиенте.
• 04Предоставляет языковые пакеты для шести языков, поддерживающие текстовый и голосовой режимы.
• 05Запускается через CLI `tau2`, поддерживает планирование dry-run и просмотр результатов.

Сценарии использования

• Сравнение LLM-моделей и архитектур агентов на реалистичных задачах клиентской поддержки.
• Проверка того, соблюдает ли агент бизнес-правила и правильно ли вызывает инструменты.
• Оценка голосовых агентов для многоязычных звонков в службу поддержки.
• Создание собственных агентов и доменов для обучения с подкреплением или исследовательских экспериментов.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   Перейдите в папку проекта и установите зависимости с помощью uv

   cd tau2-bench && uv sync
3. 3

   Создайте файл .env и добавьте ключи API

   cp .env.example .env
4. 4

   Запустите небольшую оценку в предметной области авиаперевозок

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

Что важно знать

• !Для запуска оценок нужны ключи API платных провайдеров LLM.
• !Требуется Python версии 3.12 или выше, но ниже 3.14.
• !Для голосовых функций нужны дополнительные системные зависимости и идентификаторы голоса, которые необходимо создать самостоятельно.

Темы

Частые вопросы

Что такое tau2-bench?

Симуляционный бенчмарк для оценки AI-агентов поддержки, которые используют инструменты и общаются с симулированными пользователями текстом и голосом. τ-Bench (tau2-bench) — фреймворк для симуляционного тестирования того, как LLM-агенты справляются с задачами поддержки клиентов. В каждом домене заданы правила, которым агент должен следовать, инструменты, которые он может вызывать, и задачи для оценки его работы. В проект входят домены авиаперевозок, розничной торговли, телекоммуникаций, поиска информации о банковских услугах и сбора данных о клиенте (intake), а также тестовый mock-домен.

tau2-bench можно использовать бесплатно? Какая у него лицензия?

tau2-bench распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

tau2-bench всё ещё поддерживается?

Активно поддерживается. Последний коммит в tau2-bench — 5 нояб. 2026 г..

Для чего можно использовать tau2-bench?

Сравнение LLM-моделей и архитектур агентов на реалистичных задачах клиентской поддержки. Проверка того, соблюдает ли агент бизнес-правила и правильно ли вызывает инструменты. Оценка голосовых агентов для многоязычных звонков в службу поддержки. Создание собственных агентов и доменов для обучения с подкреплением или исследовательских экспериментов.

Как установить tau2-bench?

Клонируйте репозиторий: git clone https://github.com/sierra-research/tau2-bench Перейдите в папку проекта и установите зависимости с помощью uv: cd tau2-bench && uv sync Создайте файл .env и добавьте ключи API: cp .env.example .env Запустите небольшую оценку в предметной области авиаперевозок: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

Где скачать tau2-bench?

Исходный код и инструкции по установке — на GitHub: https://github.com/sierra-research/tau2-bench