Repolode
ifixai-ai

ifixai-ai/iFixAi

Uma CLI em Python que audita agentes de IA com 61 inspeções para verificar se respeitam seu papel, resistem à manipulação e evitam inventar informações.

Estrelas
43,588
Forks
1,785
Issues abertas
3
Último commit
há 8 horas

O que é?

iFixAi é uma ferramenta independente de auditoria para agentes de IA. Ela cria um ambiente empresarial simulado a partir de um perfil e de um arquivo de políticas, envia ao agente solicitações típicas do dia a dia — incluindo pedidos que tentam fazê-lo ultrapassar seu papel — e usa um modelo avaliador separado para analisar cada resposta. Cada achado registra o que foi solicitado e como o agente respondeu.

Uma execução padrão cobre 10 inspeções compatíveis com um endpoint de chat simples, verificando permissões de ferramentas, prompt injection, violações de políticas, vazamentos de dados entre usuários, tratamento de incertezas e cumprimento de instruções. A opção --full-run executa as 61 inspeções, ignorando as que não se aplicam ao agente. Os resultados recebem notas de A a F em cinco pilares, com três requisitos mínimos obrigatórios que limitam a nota a D caso não sejam atendidos.

O modelo avaliador é escolhido de um provedor diferente daquele usado pelo agente em teste. Os relatórios são gerados em JSON e Markdown, e um limite --min-score pode ser usado para bloquear pipelines de CI. Um agente de demonstração integrado permite testar o fluxo sem uma API key.

Recursos principais

  • 01Executa rapidamente 10 inspeções padrão em um endpoint de chat convencional.
  • 02Disponibiliza 61 inspeções por meio da opção --full-run.
  • 03Usa um modelo avaliador de um provedor diferente daquele do agente em teste.
  • 04Atribui notas de A a F, com requisitos mínimos obrigatórios que limitam a pontuação.
  • 05Exporta relatórios em JSON e Markdown e permite bloquear pipelines de CI com base na pontuação.

Casos de uso

  • Verificar se um agente de suporte ao cliente respeita as permissões para reembolsos e alterações de conta.
  • Testar um agente contra prompt injection antes de colocá-lo em produção.
  • Produzir evidências de auditoria para frameworks de governança de IA, como o EU AI Act ou o NIST AI RMF.
  • Adicionar uma etapa de regressão para o comportamento do agente em um pipeline de CI.

Início rápido

  1. 1

    Crie e ative um virtualenv

    python3 -m venv .venv && source .venv/bin/activate
  2. 2

    Instale o iFixAi pelo PyPI

    pip install ifixai
  3. 3

    Gere o ambiente de simulação de referência

    ifixai author reference -o reference.yaml
  4. 4

    Execute as inspeções padrão no agente de demonstração integrado (não é necessária uma chave de API)

    ifixai run --provider mock --eval-mode self --fixture reference.yaml

Antes de usar

  • Para executar uma auditoria real, é necessário um modelo judge de outro provedor e sua chave de API.
  • É necessário Python 3.10 ou superior.

Em coleções

Tópicos

Perguntas frequentes

O que é iFixAi?
Uma CLI em Python que audita agentes de IA com 61 inspeções para verificar se respeitam seu papel, resistem à manipulação e evitam inventar informações. iFixAi é uma ferramenta independente de auditoria para agentes de IA. Ela cria um ambiente empresarial simulado a partir de um perfil e de um arquivo de políticas, envia ao agente solicitações típicas do dia a dia — incluindo pedidos que tentam fazê-lo ultrapassar seu papel — e usa um modelo avaliador separado para analisar cada resposta. Cada achado registra o que foi solicitado e como o agente respondeu.
iFixAi é gratuito? Qual é a licença?
iFixAi é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
iFixAi ainda é mantido?
Manutenção ativa. O último commit de iFixAi foi em 6 de nov. de 2026.
Para que posso usar iFixAi?
Verificar se um agente de suporte ao cliente respeita as permissões para reembolsos e alterações de conta. Testar um agente contra prompt injection antes de colocá-lo em produção. Produzir evidências de auditoria para frameworks de governança de IA, como o EU AI Act ou o NIST AI RMF. Adicionar uma etapa de regressão para o comportamento do agente em um pipeline de CI.
Como instalar iFixAi?
Crie e ative um virtualenv: python3 -m venv .venv && source .venv/bin/activate Instale o iFixAi pelo PyPI: pip install ifixai Gere o ambiente de simulação de referência: ifixai author reference -o reference.yaml Execute as inspeções padrão no agente de demonstração integrado (não é necessária uma chave de API): ifixai run --provider mock --eval-mode self --fixture reference.yaml
Onde consigo iFixAi?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ifixai-ai/iFixAi

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados

Biblioteca Python que avalia a probabilidade de respostas de LLM conterem alucinações usando quantificação de incerteza, com scorers black-box, white-box, judge e ensemble.

IA e Machine Learning#hallucination-detection#uncertainty-quantification#llm-evaluation
1,2 mil+2 esta semana140PythonApache-2.0Bem mantidoAtualizado há 24 dias