sierra-research/tau2-bench

어떤 프로젝트인가요?

핵심 기능

• 01정책, 도구, 작업이 정의된 고객 서비스 도메인을 시뮬레이션합니다.
• 02턴 기반 텍스트 평가와 전이중 음성 평가를 지원합니다.
• 03항공, 소매, 통신, 뱅킹 지식, intake 도메인을 포함합니다.
• 04텍스트와 음성에서 6개 언어를 지원하는 언어 팩을 제공합니다.
• 05드라이런 계획 및 결과 확인 기능을 갖춘 `tau2` CLI로 실행할 수 있습니다.

활용 사례

• 현실적인 고객 서비스 작업으로 LLM 모델이나 에이전트 설계를 비교합니다.
• 에이전트가 비즈니스 정책을 따르고 도구를 올바르게 호출하는지 테스트합니다.
• 다국어 고객 서비스 통화를 위한 음성 에이전트를 평가합니다.
• 강화 학습 또는 연구 실험을 위해 맞춤형 에이전트와 도메인을 구축합니다.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/sierra-research/tau2-bench
2. 2

   프로젝트 폴더로 이동한 뒤 uv로 종속성을 설치합니다

   cd tau2-bench && uv sync
3. 3

   .env 파일을 만들고 API 키를 추가합니다

   cp .env.example .env
4. 4

   항공 도메인에서 소규모 평가를 실행합니다

   tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

사용 전 알아둘 점

• !평가를 실행하려면 유료 LLM 제공업체의 API 키가 필요합니다.
• !Python 3.12 이상, 3.14 미만이 필요합니다.
• !음성 기능을 사용하려면 추가 시스템 종속성과 직접 만들어야 하는 음성 ID가 필요합니다.

토픽

자주 묻는 질문

tau2-bench은(는) 무엇인가요?

도구를 사용하고 텍스트와 음성으로 가상 사용자와 대화하는 고객 서비스 AI 에이전트를 평가하는 시뮬레이션 벤치마크입니다. τ-Bench(tau2-bench)는 LLM 에이전트가 고객 서비스 업무를 얼마나 잘 처리하는지 테스트하는 시뮬레이션 프레임워크입니다. 각 도메인에는 에이전트가 따라야 할 정책, 호출할 수 있는 도구, 성능 평가에 사용하는 작업이 정의되어 있습니다. 항공, 소매, 통신, 뱅킹 지식 검색, 엔티티 수집(intake) 도메인과 테스트용 mock 도메인이 제공됩니다.

tau2-bench은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

tau2-bench은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

tau2-bench은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. tau2-bench의 마지막 커밋은 2026년 11월 5일입니다.

tau2-bench은(는) 어디에 사용할 수 있나요?

현실적인 고객 서비스 작업으로 LLM 모델이나 에이전트 설계를 비교합니다. 에이전트가 비즈니스 정책을 따르고 도구를 올바르게 호출하는지 테스트합니다. 다국어 고객 서비스 통화를 위한 음성 에이전트를 평가합니다. 강화 학습 또는 연구 실험을 위해 맞춤형 에이전트와 도메인을 구축합니다.

tau2-bench는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/sierra-research/tau2-bench 프로젝트 폴더로 이동한 뒤 uv로 종속성을 설치합니다: cd tau2-bench && uv sync .env 파일을 만들고 API 키를 추가합니다: cp .env.example .env 항공 도메인에서 소규모 평가를 실행합니다: tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 --num-trials 1 --num-tasks 5

tau2-bench은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/sierra-research/tau2-bench