Framework open source de Python para probar aplicaciones con LLM, con métricas para RAG, agentes, chatbots, agentes de voz y más, inspirado en Pytest.
19,3 mil+135 esta semana2,2 milPythonApache-2.0Actualizado anteayer
microsoft/Power-CAT-Copilot-Studio-Kit
Kit de complementos de Microsoft Copilot Studio para crear, gobernar, probar y supervisar agentes personalizados, distribuido como soluciones de Power Platform.
- Estrellas
- 477
- Forks
- 104
- Issues abiertos
- 107
- Último commit
- anteayer
¿Qué es?
Copilot Agent Kit es un conjunto de capacidades que amplía Microsoft Copilot Studio. Ayuda a los creadores a probar agentes personalizados por lotes con varios tipos de pruebas, como coincidencia de respuestas, coincidencia de temas, conversaciones de varios turnos y respuestas generativas evaluadas por AI Builder. También permite definir rúbricas propias para calificar las respuestas generativas.
El kit también abarca la gobernanza y las operaciones. Compliance Hub evalúa las configuraciones de los agentes según umbrales de riesgo configurables y abre casos de cumplimiento con seguimiento de SLA. Agent Inventory ofrece a los administradores una vista de todos los agentes del tenant, mientras que Agent Insights Hub (Preview) reúne telemetría de Application Insights y transcripciones de conversaciones en paneles de KPI. Agent Change Tracker registra los cambios guardados y PowerShield gestiona el acceso a los conectores mediante un flujo de aprobación para las políticas de DLP.
Otros módulos incluyen Agent Debugger, para recorrer conversaciones grabadas paso a paso; Prompt Advisor, para evaluar y perfeccionar prompts; Webchat Playground, para dar estilo a un webchat; una galería de Adaptive Cards; la sincronización de contenido de SharePoint con las bases de conocimiento de los agentes; y Agent Library y Component Library, para instalar plantillas prediseñadas.
Funciones clave
- 01Probar agentes personalizados por lotes con pruebas de respuestas, temas, varios turnos y respuestas generativas.
- 02Realizar comprobaciones de gobernanza y gestionar casos de cumplimiento con seguimiento de SLA mediante Compliance Hub.
- 03Consultar KPI agregados de los agentes y analizar transcripciones en Agent Insights Hub (Preview).
- 04Inspeccionar paso a paso conversaciones grabadas con agentes mediante Agent Debugger.
- 05Evaluar prompts y obtener sugerencias para perfeccionarlos mediante Prompt Advisor.
- 06Sincronizar contenido de SharePoint de forma programada con la base de conocimiento de un agente.
Casos de uso
- Ejecutar suites de pruebas de regresión en agentes de Copilot Studio antes de publicarlos.
- Aplicar políticas de gobernanza en toda la organización a muchos agentes de un tenant.
- Supervisar a lo largo del tiempo el rendimiento de los agentes, sus errores y el consumo de créditos.
- Condicionar las implementaciones de agentes en Power Platform Pipelines a los resultados de las pruebas.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es Power-CAT-Copilot-Studio-Kit?
- Kit de complementos de Microsoft Copilot Studio para crear, gobernar, probar y supervisar agentes personalizados, distribuido como soluciones de Power Platform. Copilot Agent Kit es un conjunto de capacidades que amplía Microsoft Copilot Studio. Ayuda a los creadores a probar agentes personalizados por lotes con varios tipos de pruebas, como coincidencia de respuestas, coincidencia de temas, conversaciones de varios turnos y respuestas generativas evaluadas por AI Builder. También permite definir rúbricas propias para calificar las respuestas generativas.
- ¿Power-CAT-Copilot-Studio-Kit es gratuito? ¿Qué licencia tiene?
- Power-CAT-Copilot-Studio-Kit es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Power-CAT-Copilot-Studio-Kit sigue mantenido?
- Mantenimiento activo. El último commit de Power-CAT-Copilot-Studio-Kit fue el 5 nov 2026.
- ¿Para qué puedo usar Power-CAT-Copilot-Studio-Kit?
- Ejecutar suites de pruebas de regresión en agentes de Copilot Studio antes de publicarlos. Aplicar políticas de gobernanza en toda la organización a muchos agentes de un tenant. Supervisar a lo largo del tiempo el rendimiento de los agentes, sus errores y el consumo de créditos. Condicionar las implementaciones de agentes en Power Platform Pipelines a los resultados de las pruebas.
- ¿Dónde consigo Power-CAT-Copilot-Studio-Kit?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma open source de observabilidad y evaluación de LLM para rastrear agentes de IA, puntuar sus resultados, gestionar prompts y monitorizar sistemas en producción.
23,2 mil+176 esta semana1,9 milPythonApache-2.0Actualizado ayer
Colección de Agent Skills sobre ingeniería de contexto, diseño multiagente y evaluación para crear sistemas de agentes de IA listos para producción.
18,3 mil+63 esta semana1,5 milPythonMITActualizado hace 27 días
Aplicación de escritorio que graba una sesión de trabajo en pantalla y usa GitHub Copilot para convertirla en una Skill reutilizable para agentes o una Automation programada.
5,7 mil+132 esta semana649TypeScriptMITBien mantenidoActualizado hace 3 días
CLI y biblioteca para evaluar prompts y hacer red teaming de aplicaciones con LLM, con configuraciones declarativas e integración con CI/CD.
26,9 mil+263 esta semana2,7 milTypeScriptMITActualizado hace 24 horas
Biblioteca de Python y TypeScript con evaluadores predefinidos y personalizables para probar resultados de aplicaciones con LLM, incluida la evaluación con un LLM como juez.
1,2 mil+8 esta semana138PythonMITActualizado hace 6 días