Pytest와 비슷한 방식으로 RAG, 에이전트, 챗봇, 음성 에이전트 등을 평가하는 메트릭을 제공하는 오픈소스 Python 프레임워크입니다.
microsoft/Power-CAT-Copilot-Studio-Kit
Microsoft Copilot Studio에서 사용자 지정 에이전트를 구축·관리·테스트·모니터링할 수 있도록 Power Platform 솔루션으로 제공되는 애드온 툴킷입니다.
- 스타
- 477
- 포크
- 104
- 열린 이슈
- 107
- 마지막 커밋
- 그저께
어떤 프로젝트인가요?
Copilot Agent Kit은 Microsoft Copilot Studio의 기능을 확장하는 도구 모음입니다. 메이커가 응답 일치, 토픽 일치, 멀티턴, AI Builder가 점수를 매기는 생성형 답변 등 여러 유형의 테스트로 사용자 지정 에이전트를 일괄 테스트할 수 있으며, 생성형 답변을 평가할 사용자 정의 루브릭도 지원합니다.
이 키트는 거버넌스와 운영 기능도 제공합니다. Compliance Hub는 에이전트 구성을 설정 가능한 위험 임계값에 따라 평가하고 SLA 추적이 적용되는 규정 준수 케이스를 생성합니다. Agent Inventory는 관리자에게 테넌트 전체 에이전트 현황을 보여 주며, Agent Insights Hub (Preview)는 Application Insights 원격 분석 데이터와 대화 기록을 KPI 대시보드로 집계합니다. Agent Change Tracker는 저장된 변경 사항을 기록하고, PowerShield는 DLP 정책의 승인 워크플로를 통해 커넥터 액세스를 관리합니다.
그 밖에도 기록된 대화를 단계별로 살펴보는 Agent Debugger, 프롬프트의 점수를 매기고 개선하는 Prompt Advisor, 웹챗 스타일을 지정하는 Webchat Playground, Adaptive Cards Gallery, 에이전트 지식 베이스에 SharePoint 콘텐츠를 동기화하는 기능, 사전 제작된 템플릿을 설치하는 Agent Library와 Component Library가 포함됩니다.
핵심 기능
- 01응답, 토픽, 멀티턴, 생성형 답변 등 다양한 유형으로 사용자 지정 에이전트를 일괄 테스트합니다.
- 02Compliance Hub를 통해 거버넌스 검사를 수행하고 SLA 추적이 적용되는 규정 준수 케이스를 관리합니다.
- 03Agent Insights Hub (Preview)에서 에이전트 KPI와 대화 기록 분석을 종합해 제공합니다.
- 04Agent Debugger로 기록된 에이전트 대화를 단계별로 살펴봅니다.
- 05Prompt Advisor로 프롬프트 점수를 확인하고 개선 제안을 받습니다.
- 06예약된 SharePoint 콘텐츠 동기화로 에이전트 지식 베이스를 업데이트합니다.
활용 사례
- 릴리스 전에 Copilot Studio 에이전트에서 회귀 테스트 모음을 실행합니다.
- 테넌트 내 여러 에이전트에 조직 전체 거버넌스 정책을 적용합니다.
- 시간에 따른 에이전트 성능, 오류 및 크레딧 사용량을 모니터링합니다.
- 테스트 결과에 따라 Power Platform Pipelines에서 에이전트 배포를 통제합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- Power-CAT-Copilot-Studio-Kit은(는) 무엇인가요?
- Microsoft Copilot Studio에서 사용자 지정 에이전트를 구축·관리·테스트·모니터링할 수 있도록 Power Platform 솔루션으로 제공되는 애드온 툴킷입니다. Copilot Agent Kit은 Microsoft Copilot Studio의 기능을 확장하는 도구 모음입니다. 메이커가 응답 일치, 토픽 일치, 멀티턴, AI Builder가 점수를 매기는 생성형 답변 등 여러 유형의 테스트로 사용자 지정 에이전트를 일괄 테스트할 수 있으며, 생성형 답변을 평가할 사용자 정의 루브릭도 지원합니다.
- Power-CAT-Copilot-Studio-Kit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Power-CAT-Copilot-Studio-Kit은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Power-CAT-Copilot-Studio-Kit은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Power-CAT-Copilot-Studio-Kit의 마지막 커밋은 2026년 11월 5일입니다.
- Power-CAT-Copilot-Studio-Kit은(는) 어디에 사용할 수 있나요?
- 릴리스 전에 Copilot Studio 에이전트에서 회귀 테스트 모음을 실행합니다. 테넌트 내 여러 에이전트에 조직 전체 거버넌스 정책을 적용합니다. 시간에 따른 에이전트 성능, 오류 및 크레딧 사용량을 모니터링합니다. 테스트 결과에 따라 Power Platform Pipelines에서 에이전트 배포를 통제합니다.
- Power-CAT-Copilot-Studio-Kit은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
AI 에이전트 추적, LLM 출력 평가, 프롬프트 관리, 프로덕션 모니터링을 위한 오픈소스 LLM 옵저버빌리티 및 평가 플랫폼입니다.
프로덕션 AI 에이전트 시스템 구축을 위한 컨텍스트 엔지니어링, 멀티 에이전트 설계, 평가를 다루는 Agent Skills 모음입니다.
화면 작업 세션을 녹화하고 GitHub Copilot으로 재사용 가능한 에이전트 Skill이나 예약 Automation으로 변환하는 데스크톱 앱입니다.
선언형 설정과 CI/CD 연동을 제공하는 프롬프트 평가 및 LLM 앱 레드팀 테스트용 CLI·라이브러리입니다.
LLM 애플리케이션 출력을 테스트하는 사전 구성 및 사용자 지정 평가기를 제공하는 Python·TypeScript 라이브러리로, LLM-as-judge 채점을 지원합니다.