Pytestに着想を得た、RAG、エージェント、チャットボット、音声エージェントなどの指標を備える、LLMアプリ向けオープンソースPythonテストフレームワーク。
microsoft/Power-CAT-Copilot-Studio-Kit
カスタムエージェントの構築、ガバナンス、テスト、監視に使える Microsoft Copilot Studio 向けアドオン集。Power Platform ソリューションとして提供されます。
- スター
- 477
- フォーク
- 104
- 未解決の Issue
- 107
- 最終コミット
- 3 日前
これは何?
Copilot Agent Kit は、Microsoft Copilot Studio の機能を拡張するツール群です。応答一致、トピック一致、複数ターン、AI Builder による採点を含む複数のテスト形式でカスタムエージェントを一括テストでき、生成回答の評価にはユーザー定義のルーブリックも利用できます。
このキットはガバナンスと運用にも対応します。Compliance Hub は設定可能なリスクしきい値に基づいてエージェントの構成を評価し、SLA で追跡されるコンプライアンス案件を作成します。Agent Inventory では管理者がテナント全体のエージェントを確認でき、Agent Insights Hub (Preview) は Application Insights のテレメトリと会話のトランスクリプトを集約し、KPI ダッシュボードに表示します。Agent Change Tracker は保存された変更を記録し、PowerShield は DLP ポリシーの承認ワークフローを通じてコネクタへのアクセスを管理します。
そのほか、記録された会話をステップごとに確認する Agent Debugger、プロンプトを採点して改善する Prompt Advisor、Webchat のスタイルを設定する Webchat Playground、Adaptive Cards Gallery、エージェントのナレッジベースに SharePoint コンテンツを同期する機能、すぐに使えるテンプレートをインストールできる Agent Library と Component Library も含まれます。
主な機能
- 01応答、トピック、複数ターン、生成回答のテスト形式でカスタムエージェントを一括テストできます。
- 02Compliance Hub でガバナンスをチェックし、SLA で追跡されるコンプライアンス案件を管理できます。
- 03Agent Insights Hub (Preview) でエージェントの KPI とトランスクリプト分析を集約できます。
- 04Agent Debugger で、記録されたエージェントとの会話をステップごとに確認できます。
- 05Prompt Advisor でプロンプトを採点し、改善案を得られます。
- 06SharePoint のコンテンツをエージェントのナレッジベースに定期同期できます。
ユースケース
- リリース前に Copilot Studio エージェントの回帰テストスイートを実行する。
- テナント内の多数のエージェントに、組織全体のガバナンスポリシーを適用する。
- エージェントのパフォーマンス、エラー、クレジット消費量を継続的に監視する。
- テスト結果に基づいて Power Platform Pipelines でエージェントのデプロイを制御する。
収録されている特集
トピック
よくある質問
- Power-CAT-Copilot-Studio-Kit とは?
- カスタムエージェントの構築、ガバナンス、テスト、監視に使える Microsoft Copilot Studio 向けアドオン集。Power Platform ソリューションとして提供されます。 Copilot Agent Kit は、Microsoft Copilot Studio の機能を拡張するツール群です。応答一致、トピック一致、複数ターン、AI Builder による採点を含む複数のテスト形式でカスタムエージェントを一括テストでき、生成回答の評価にはユーザー定義のルーブリックも利用できます。
- Power-CAT-Copilot-Studio-Kit は無料で使えますか?ライセンスは?
- Power-CAT-Copilot-Studio-Kit は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Power-CAT-Copilot-Studio-Kit は今もメンテナンスされていますか?
- 活発にメンテナンス中。Power-CAT-Copilot-Studio-Kit の最終コミットは 2026年11月5日 です。
- Power-CAT-Copilot-Studio-Kit は何に使えますか?
- リリース前に Copilot Studio エージェントの回帰テストスイートを実行する。 テナント内の多数のエージェントに、組織全体のガバナンスポリシーを適用する。 エージェントのパフォーマンス、エラー、クレジット消費量を継続的に監視する。 テスト結果に基づいて Power Platform Pipelines でエージェントのデプロイを制御する。
- Power-CAT-Copilot-Studio-Kit はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
AIエージェントのトレース、LLM出力のスコアリング、プロンプト管理、本番環境の監視を行うオープンソースのLLM可観測性・評価プラットフォーム。
本番向けAIエージェントシステムの構築に役立つ、コンテキストエンジニアリング、マルチエージェント設計、評価を学べるAgent Skills集。
デスクトップアプリで作業セッションを録画し、GitHub Copilotで再利用可能なAgent Skillや定期実行Automationに変換します。
宣言的な設定とCI/CD連携に対応した、プロンプト評価とLLMアプリのレッドチームテスト向けCLI・ライブラリ。
LLMアプリケーションの出力をテストするための、事前構築済み・カスタマイズ可能な評価器を備えたPythonおよびTypeScriptライブラリ。LLM-as-judgeによるスコアリングにも対応。