Открытый Python-фреймворк для модульного тестирования приложений на базе LLM: метрики для RAG, агентов, чат-ботов, голосовых агентов и многого другого — в духе Pytest.
19,4 тыс.+141 за неделю2,2 тыс.PythonApache-2.0Обновлён позавчера
microsoft/Power-CAT-Copilot-Studio-Kit
Набор дополнений для Microsoft Copilot Studio: создание, управление, тестирование и мониторинг пользовательских агентов в виде решений Power Platform.
- Звёзды
- 477
- Форки
- 104
- Открытые issues
- 107
- Последний коммит
- 3 дня назад
Что это?
Copilot Agent Kit — это набор возможностей, расширяющих Microsoft Copilot Studio. Он позволяет разработчикам пакетно тестировать пользовательских агентов с помощью нескольких типов проверок: совпадение ответов, совпадение тем, диалоги из нескольких ходов и генеративные ответы, оцениваемые с помощью AI Builder. Также можно задавать собственные критерии оценки генеративных ответов.
В набор входят средства для управления и эксплуатации. Compliance Hub проверяет конфигурации агентов на соответствие настраиваемым порогам риска и заводит обращения по вопросам соответствия с отслеживанием SLA. Agent Inventory показывает администраторам всех агентов в тенанте, а Agent Insights Hub (Preview) собирает телеметрию Application Insights и расшифровки диалогов в панели KPI. Agent Change Tracker записывает сохранённые изменения, а PowerShield управляет доступом к коннекторам с помощью процесса согласования для DLP-политик.
Среди других модулей — Agent Debugger для пошагового просмотра записанных диалогов, Prompt Advisor для оценки и улучшения промптов, Webchat Playground для настройки оформления веб-чата, галерея Adaptive Cards, синхронизация контента SharePoint с базами знаний агентов, а также Agent Library и Component Library для установки готовых шаблонов.
Ключевые возможности
- 01Пакетное тестирование пользовательских агентов: проверка ответов, тем, диалогов из нескольких ходов и генеративных ответов.
- 02Проверка соответствия требованиям и обращения с отслеживанием SLA через Compliance Hub.
- 03Сводные KPI агентов и анализ расшифровок диалогов в Agent Insights Hub (Preview).
- 04Пошаговый просмотр записанных диалогов агентов с помощью Agent Debugger.
- 05Оценка промптов и рекомендации по их улучшению с помощью Prompt Advisor.
- 06Плановая синхронизация контента SharePoint с базой знаний агента.
Сценарии использования
- Запуск регрессионных тестов для агентов Copilot Studio перед выпуском.
- Применение общих для организации политик управления ко множеству агентов в тенанте.
- Мониторинг производительности агентов, ошибок и расхода кредитов с течением времени.
- Блокировка развертывания агентов в Power Platform Pipelines на основе результатов тестирования.
В подборках
Темы
Частые вопросы
- Что такое Power-CAT-Copilot-Studio-Kit?
- Набор дополнений для Microsoft Copilot Studio: создание, управление, тестирование и мониторинг пользовательских агентов в виде решений Power Platform. Copilot Agent Kit — это набор возможностей, расширяющих Microsoft Copilot Studio. Он позволяет разработчикам пакетно тестировать пользовательских агентов с помощью нескольких типов проверок: совпадение ответов, совпадение тем, диалоги из нескольких ходов и генеративные ответы, оцениваемые с помощью AI Builder. Также можно задавать собственные критерии оценки генеративных ответов.
- Power-CAT-Copilot-Studio-Kit можно использовать бесплатно? Какая у него лицензия?
- Power-CAT-Copilot-Studio-Kit распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Power-CAT-Copilot-Studio-Kit всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Power-CAT-Copilot-Studio-Kit — 5 нояб. 2026 г..
- Для чего можно использовать Power-CAT-Copilot-Studio-Kit?
- Запуск регрессионных тестов для агентов Copilot Studio перед выпуском. Применение общих для организации политик управления ко множеству агентов в тенанте. Мониторинг производительности агентов, ошибок и расхода кредитов с течением времени. Блокировка развертывания агентов в Power Platform Pipelines на основе результатов тестирования.
- Где скачать Power-CAT-Copilot-Studio-Kit?
- Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Open-source платформа для наблюдаемости и оценки LLM: трассировка AI-агентов, оценка ответов, управление промптами и мониторинг в production.
23,2 тыс.+182 за неделю1,9 тыс.PythonApache-2.0Обновлён 20 часов назад
Набор Agent Skills по проектированию контекста, созданию мультиагентных систем и оценке для разработки production-систем на базе AI-агентов.
18,3 тыс.+58 за неделю1,5 тыс.PythonMITОбновлён 27 дней назад
Настольное приложение записывает рабочие сессии на экране и с помощью GitHub Copilot превращает их в переиспользуемые Skills для агентов или автоматизации по расписанию.
5,7 тыс.+110 за неделю650TypeScriptMITАктивно поддерживаетсяОбновлён 3 дня назад
CLI и библиотека для оценки промптов и red teaming LLM-приложений с помощью декларативных конфигов и интеграции с CI/CD.
26,9 тыс.+262 за неделю2,7 тыс.TypeScriptMITОбновлён 13 часов назад
Библиотека на Python и TypeScript с готовыми и настраиваемыми оценщиками для тестирования результатов LLM-приложений, включая оценку по принципу LLM-as-judge.
1,2 тыс.+9 за неделю138PythonMITОбновлён 6 дней назад