sierra-research/tau2-bench

¿Qué es?

Funciones clave

• 01Simula dominios de atención al cliente con políticas, herramientas y tareas definidas.
• 02Admite evaluaciones de texto por turnos y evaluaciones de voz full-duplex.
• 03Incluye dominios de aerolíneas, comercio minorista, telecomunicaciones, conocimientos bancarios y captura de datos.
• 04Ofrece paquetes de idiomas para seis idiomas, tanto para texto como para voz.
• 05Se ejecuta mediante una CLI `tau2` que permite planificar en modo de prueba y consultar resultados.

Casos de uso

• Comparar modelos LLM o diseños de agentes en tareas realistas de atención al cliente.
• Probar si un agente sigue las políticas de negocio y usa las herramientas correctamente.
• Evaluar agentes de voz para llamadas de atención al cliente en varios idiomas.
• Crear agentes y dominios personalizados para aprendizaje por refuerzo o experimentos de investigación.

Inicio rápido

1. 1

   Clona el repositorio

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   Entra en la carpeta del proyecto e instala las dependencias con uv

   cd tau2-bench && uv sync
3. 3

   Crea el archivo .env y añade tus claves de API

   cp .env.example .env
4. 4

   Ejecuta una evaluación pequeña en el ámbito de las aerolíneas

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

Antes de usarlo

• !Para ejecutar evaluaciones se necesitan claves de API de proveedores de LLM de pago.
• !Se requiere Python 3.12 o posterior, pero anterior a 3.14.
• !Las funciones de voz necesitan dependencias adicionales del sistema e identificadores de voz que tendrás que crear.

Temas

Preguntas frecuentes

¿Qué es tau2-bench?

Benchmark de simulación para evaluar agentes de IA de atención al cliente que usan herramientas y conversan con usuarios simulados por texto y voz. τ-Bench (tau2-bench) es un framework de simulación para probar qué tan bien gestionan los agentes LLM las tareas de atención al cliente. Cada dominio define una política que el agente debe seguir, un conjunto de herramientas que puede usar y tareas para evaluar su rendimiento. El proyecto incluye dominios de aerolíneas, comercio minorista, telecomunicaciones, recuperación de conocimientos bancarios y captura de datos (intake), además de un dominio simulado para pruebas.

¿tau2-bench es gratuito? ¿Qué licencia tiene?

tau2-bench es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿tau2-bench sigue mantenido?

Mantenimiento activo. El último commit de tau2-bench fue el 5 nov 2026.

¿Para qué puedo usar tau2-bench?

Comparar modelos LLM o diseños de agentes en tareas realistas de atención al cliente. Probar si un agente sigue las políticas de negocio y usa las herramientas correctamente. Evaluar agentes de voz para llamadas de atención al cliente en varios idiomas. Crear agentes y dominios personalizados para aprendizaje por refuerzo o experimentos de investigación.

¿Cómo se instala tau2-bench?

Clona el repositorio: git clone https://github.com/sierra-research/tau2-bench Entra en la carpeta del proyecto e instala las dependencias con uv: cd tau2-bench && uv sync Crea el archivo .env y añade tus claves de API: cp .env.example .env Ejecuta una evaluación pequeña en el ámbito de las aerolíneas: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

¿Dónde consigo tau2-bench?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/sierra-research/tau2-bench