Framework Python open source para testes unitários de apps com LLM, com métricas para RAG, agentes, chatbots, agentes de voz e mais, na linha do Pytest.
19,4 mil+141 esta semana2,2 milPythonApache-2.0Atualizado anteontem
microsoft/Power-CAT-Copilot-Studio-Kit
Kit de complementos do Microsoft Copilot Studio para criar, governar, testar e monitorar agentes personalizados, distribuído como soluções do Power Platform.
- Estrelas
- 477
- Forks
- 104
- Issues abertas
- 107
- Último commit
- há 3 dias
O que é?
O Copilot Agent Kit é um conjunto de recursos que amplia o Microsoft Copilot Studio. Ele ajuda makers a testar agentes personalizados em lote com vários tipos de teste, incluindo correspondência de resposta, correspondência de tópico, múltiplos turnos e respostas generativas avaliadas pelo AI Builder. Também permite definir rubricas próprias para avaliar respostas generativas.
O kit também abrange governança e operações. O Compliance Hub avalia configurações de agentes com base em limites de risco configuráveis e abre casos de conformidade acompanhados por SLA. O Agent Inventory oferece aos administradores uma visão de todos os agentes do tenant, enquanto o Agent Insights Hub (Preview) reúne telemetria do Application Insights e transcrições de conversas em dashboards de KPI. O Agent Change Tracker registra alterações salvas, e o PowerShield gerencia o acesso a conectores por meio de um fluxo de aprovação para políticas de DLP.
Outros módulos incluem o Agent Debugger, para avançar passo a passo por conversas registradas; o Prompt Advisor, para pontuar e aprimorar prompts; o Webchat Playground, para personalizar o estilo de um webchat; uma galeria de Adaptive Cards; a sincronização de conteúdo do SharePoint com bases de conhecimento de agentes; e as bibliotecas Agent Library e Component Library, para instalar templates prontos.
Recursos principais
- 01Testar agentes personalizados em lote com diferentes tipos de teste: resposta, tópico, múltiplos turnos e respostas generativas.
- 02Verificações de governança e casos de conformidade acompanhados por SLA pelo Compliance Hub.
- 03KPIs agregados de agentes e análise de transcrições no Agent Insights Hub (Preview).
- 04Inspeção passo a passo de conversas registradas com agentes usando o Agent Debugger.
- 05Pontuação de prompts e sugestões para aprimorá-los com o Prompt Advisor.
- 06Sincronização agendada de conteúdo do SharePoint com a base de conhecimento de um agente.
Casos de uso
- Executar conjuntos de testes de regressão em agentes do Copilot Studio antes do lançamento.
- Aplicar políticas de governança em toda a organização a muitos agentes de um tenant.
- Monitorar o desempenho dos agentes, erros e consumo de créditos ao longo do tempo.
- Condicionar implantações de agentes no Power Platform Pipelines aos resultados dos testes.
Em coleções
Tópicos
Perguntas frequentes
- O que é Power-CAT-Copilot-Studio-Kit?
- Kit de complementos do Microsoft Copilot Studio para criar, governar, testar e monitorar agentes personalizados, distribuído como soluções do Power Platform. O Copilot Agent Kit é um conjunto de recursos que amplia o Microsoft Copilot Studio. Ele ajuda makers a testar agentes personalizados em lote com vários tipos de teste, incluindo correspondência de resposta, correspondência de tópico, múltiplos turnos e respostas generativas avaliadas pelo AI Builder. Também permite definir rubricas próprias para avaliar respostas generativas.
- Power-CAT-Copilot-Studio-Kit é gratuito? Qual é a licença?
- Power-CAT-Copilot-Studio-Kit é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Power-CAT-Copilot-Studio-Kit ainda é mantido?
- Manutenção ativa. O último commit de Power-CAT-Copilot-Studio-Kit foi em 5 de nov. de 2026.
- Para que posso usar Power-CAT-Copilot-Studio-Kit?
- Executar conjuntos de testes de regressão em agentes do Copilot Studio antes do lançamento. Aplicar políticas de governança em toda a organização a muitos agentes de um tenant. Monitorar o desempenho dos agentes, erros e consumo de créditos ao longo do tempo. Condicionar implantações de agentes no Power Platform Pipelines aos resultados dos testes.
- Onde consigo Power-CAT-Copilot-Studio-Kit?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Plataforma open source de observabilidade e avaliação de LLMs para rastrear agentes de IA, pontuar saídas de LLMs, gerenciar prompts e monitorar ambientes de produção.
23,2 mil+182 esta semana1,9 milPythonApache-2.0Atualizado há 20 horas
Coleção de Agent Skills sobre engenharia de contexto, design multiagente e avaliação para criar sistemas de agentes de IA prontos para produção.
18,3 mil+58 esta semana1,5 milPythonMITAtualizado há 27 dias
App para desktop que grava uma sessão de trabalho na tela e usa o GitHub Copilot para transformá-la em uma Skill reutilizável para agentes ou em uma Automation agendada.
5,7 mil+110 esta semana650TypeScriptMITBem mantidoAtualizado há 3 dias
CLI e biblioteca para avaliar prompts e fazer red teaming de apps com LLMs, usando configurações declarativas e integração com CI/CD.
26,9 mil+262 esta semana2,7 milTypeScriptMITAtualizado há 13 horas
Biblioteca para Python e TypeScript com avaliadores prontos e personalizáveis para testar resultados de aplicações com LLM, incluindo avaliação por LLM como juiz.
1,2 mil+9 esta semana138PythonMITAtualizado há 6 dias