sierra-research/tau2-bench

O que é?

Recursos principais

• 01Simula domínios de atendimento ao cliente com políticas, ferramentas e tarefas definidas.
• 02Oferece avaliação por texto baseada em turnos e avaliação de voz full-duplex.
• 03Inclui domínios de companhias aéreas, varejo, telecomunicações, conhecimento bancário e intake.
• 04Oferece pacotes de idiomas para seis idiomas, em texto e voz.
• 05Executa pela CLI `tau2`, com planejamento em modo dry-run e visualização de resultados.

Casos de uso

• Comparar modelos LLM ou arquiteturas de agentes em tarefas realistas de atendimento ao cliente.
• Testar se um agente segue as políticas de negócio e usa as ferramentas corretamente.
• Avaliar agentes de voz em chamadas multilíngues de atendimento ao cliente.
• Criar agentes e domínios personalizados para aprendizado por reforço ou experimentos de pesquisa.

Início rápido

1. 1

   Clone o repositório

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   Acesse a pasta do projeto e instale as dependências com uv

   cd tau2-bench && uv sync
3. 3

   Crie o arquivo .env e adicione suas chaves de API

   cp .env.example .env
4. 4

   Execute uma avaliação pequena no domínio de companhias aéreas

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

Antes de usar

• !A execução de avaliações exige chaves de API de provedores de LLM pagos.
• !É necessário usar Python 3.12 ou mais recente, mas abaixo da versão 3.14.
• !Os recursos de voz precisam de dependências adicionais do sistema e de IDs de voz que você mesmo deve criar.

Tópicos

Perguntas frequentes

O que é tau2-bench?

Benchmark de simulação para avaliar agentes de IA de atendimento ao cliente que usam ferramentas e conversam com usuários simulados por texto e voz. τ-Bench (tau2-bench) é um framework de simulação para testar o desempenho de agentes LLM em tarefas de atendimento ao cliente. Cada domínio define uma política que o agente deve seguir, um conjunto de ferramentas que pode usar e tarefas para avaliar seu desempenho. O projeto inclui domínios de companhias aéreas, varejo, telecomunicações, recuperação de conhecimento bancário e captura de dados (intake), além de um domínio simulado para testes.

tau2-bench é gratuito? Qual é a licença?

tau2-bench é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

tau2-bench ainda é mantido?

Manutenção ativa. O último commit de tau2-bench foi em 5 de nov. de 2026.

Para que posso usar tau2-bench?

Comparar modelos LLM ou arquiteturas de agentes em tarefas realistas de atendimento ao cliente. Testar se um agente segue as políticas de negócio e usa as ferramentas corretamente. Avaliar agentes de voz em chamadas multilíngues de atendimento ao cliente. Criar agentes e domínios personalizados para aprendizado por reforço ou experimentos de pesquisa.

Como instalar tau2-bench?

Clone o repositório: git clone https://github.com/sierra-research/tau2-bench Acesse a pasta do projeto e instale as dependências com uv: cd tau2-bench && uv sync Crie o arquivo .env e adicione suas chaves de API: cp .env.example .env Execute uma avaliação pequena no domínio de companhias aéreas: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

Onde consigo tau2-bench?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/sierra-research/tau2-bench