开源 Python LLM 评测框架,可像 Pytest 一样对 LLM 应用做单元测试,内置 RAG、Agent、多轮对话等指标。
microsoft/Power-CAT-Copilot-Studio-Kit
面向 Microsoft Copilot Studio 的扩展工具包,用于开发、治理、测试和监控自定义智能体。
- Star
- 477
- Fork
- 104
- 未关闭 Issue
- 107
- 最近提交
- 前天
这是什么?
Copilot Agent Kit 是一套用于增强 Microsoft Copilot Studio 的功能集合,帮助开发者批量测试自定义智能体。测试类型包括回复匹配、主题匹配、多轮对话和生成式回答,其中生成式回答可由 AI Builder 评估,并支持自定义评分标准(rubrics)。
在治理与运维方面,Compliance Hub 会依据可配置的风险阈值检查智能体配置,并以 SLA 跟踪合规案例;Agent Inventory 为管理员提供租户范围内的智能体清单;Agent Insights Hub(预览版)汇总 Application Insights 遥测数据和会话记录,生成 KPI 仪表板。Agent Change Tracker 记录已保存的变更,PowerShield 则通过审批流程管理 DLP 策略下的连接器访问。
此外还包括用于逐步查看会话决策过程的 Agent Debugger、提示词评分与优化工具 Prompt Advisor、网页聊天样式定制工具 Webchat Playground、Adaptive Cards 示例库,以及把 SharePoint 内容同步到智能体知识库的功能,并提供 Agent Library 和 Component Library 用于安装预置模板与组件。
核心功能
- 01批量测试自定义智能体,支持回复匹配、主题匹配、多轮对话和生成式回答等测试类型。
- 02通过 Compliance Hub 进行治理检查,并以 SLA 跟踪合规案例。
- 03在 Agent Insights Hub(预览版)中汇总智能体 KPI 并分析会话记录。
- 04借助 Agent Debugger 逐步查看已记录会话中的每一步决策。
- 05通过 Prompt Advisor 对提示词打分并给出优化建议。
- 06定期将 SharePoint 内容同步到智能体知识库。
适用场景
- 在发布前对 Copilot Studio 智能体运行回归测试。
- 在租户内对大量智能体统一执行治理策略。
- 长期监控智能体的性能、错误和积分消耗。
- 基于测试结果,在 Power Platform Pipelines 中控制智能体的部署。
收录于专题
标签
常见问题
- Power-CAT-Copilot-Studio-Kit 是什么?
- 面向 Microsoft Copilot Studio 的扩展工具包,用于开发、治理、测试和监控自定义智能体。 Copilot Agent Kit 是一套用于增强 Microsoft Copilot Studio 的功能集合,帮助开发者批量测试自定义智能体。测试类型包括回复匹配、主题匹配、多轮对话和生成式回答,其中生成式回答可由 AI Builder 评估,并支持自定义评分标准(rubrics)。
- Power-CAT-Copilot-Studio-Kit 可以免费使用吗?用的什么许可证?
- Power-CAT-Copilot-Studio-Kit 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- Power-CAT-Copilot-Studio-Kit 还在维护吗?
- 活跃维护中。Power-CAT-Copilot-Studio-Kit 最近一次提交是在 2026年11月5日。
- Power-CAT-Copilot-Studio-Kit 适合用来做什么?
- 在发布前对 Copilot Studio 智能体运行回归测试。 在租户内对大量智能体统一执行治理策略。 长期监控智能体的性能、错误和积分消耗。 基于测试结果,在 Power Platform Pipelines 中控制智能体的部署。
- 在哪里获取 Power-CAT-Copilot-Studio-Kit?
- 源代码和安装说明在 GitHub 上:https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源的 LLM 可观测与评估平台,用于 AI 智能体追踪、LLM 输出评估、提示词管理和生产监控。
一套面向 AI 智能体的 Agent Skills,讲解上下文工程、多智能体架构与评估方法。
桌面应用,录制屏幕上的工作过程,借助 GitHub Copilot 生成可复用的 Skill 或自动化任务。
用于评估提示词和对 LLM 应用做红队测试的命令行工具与库,支持声明式配置和 CI/CD 集成。
用于测试 LLM 应用输出的 Python/TypeScript 评估库,提供现成评估器和 LLM-as-judge 打分。