Scanner open source de linha de comando que testa LLMs em busca de falhas como prompt injection, vazamento de dados, jailbreaks e respostas tóxicas.
ifixai-ai/iFixAi
Uma CLI em Python que audita agentes de IA com 61 inspeções para verificar se respeitam seu papel, resistem à manipulação e evitam inventar informações.
- Estrelas
- 43,588
- Forks
- 1,785
- Issues abertas
- 3
- Último commit
- há 8 horas
O que é?
iFixAi é uma ferramenta independente de auditoria para agentes de IA. Ela cria um ambiente empresarial simulado a partir de um perfil e de um arquivo de políticas, envia ao agente solicitações típicas do dia a dia — incluindo pedidos que tentam fazê-lo ultrapassar seu papel — e usa um modelo avaliador separado para analisar cada resposta. Cada achado registra o que foi solicitado e como o agente respondeu.
Uma execução padrão cobre 10 inspeções compatíveis com um endpoint de chat simples, verificando permissões de ferramentas, prompt injection, violações de políticas, vazamentos de dados entre usuários, tratamento de incertezas e cumprimento de instruções. A opção --full-run executa as 61 inspeções, ignorando as que não se aplicam ao agente. Os resultados recebem notas de A a F em cinco pilares, com três requisitos mínimos obrigatórios que limitam a nota a D caso não sejam atendidos.
O modelo avaliador é escolhido de um provedor diferente daquele usado pelo agente em teste. Os relatórios são gerados em JSON e Markdown, e um limite --min-score pode ser usado para bloquear pipelines de CI. Um agente de demonstração integrado permite testar o fluxo sem uma API key.
Recursos principais
- 01Executa rapidamente 10 inspeções padrão em um endpoint de chat convencional.
- 02Disponibiliza 61 inspeções por meio da opção --full-run.
- 03Usa um modelo avaliador de um provedor diferente daquele do agente em teste.
- 04Atribui notas de A a F, com requisitos mínimos obrigatórios que limitam a pontuação.
- 05Exporta relatórios em JSON e Markdown e permite bloquear pipelines de CI com base na pontuação.
Casos de uso
- Verificar se um agente de suporte ao cliente respeita as permissões para reembolsos e alterações de conta.
- Testar um agente contra prompt injection antes de colocá-lo em produção.
- Produzir evidências de auditoria para frameworks de governança de IA, como o EU AI Act ou o NIST AI RMF.
- Adicionar uma etapa de regressão para o comportamento do agente em um pipeline de CI.
Início rápido
- 1
Crie e ative um virtualenv
python3 -m venv .venv && source .venv/bin/activate - 2
Instale o iFixAi pelo PyPI
pip install ifixai - 3
Gere o ambiente de simulação de referência
ifixai author reference -o reference.yaml - 4
Execute as inspeções padrão no agente de demonstração integrado (não é necessária uma chave de API)
ifixai run --provider mock --eval-mode self --fixture reference.yaml
Antes de usar
- Para executar uma auditoria real, é necessário um modelo judge de outro provedor e sua chave de API.
- É necessário Python 3.10 ou superior.
Em coleções
Tópicos
Perguntas frequentes
- O que é iFixAi?
- Uma CLI em Python que audita agentes de IA com 61 inspeções para verificar se respeitam seu papel, resistem à manipulação e evitam inventar informações. iFixAi é uma ferramenta independente de auditoria para agentes de IA. Ela cria um ambiente empresarial simulado a partir de um perfil e de um arquivo de políticas, envia ao agente solicitações típicas do dia a dia — incluindo pedidos que tentam fazê-lo ultrapassar seu papel — e usa um modelo avaliador separado para analisar cada resposta. Cada achado registra o que foi solicitado e como o agente respondeu.
- iFixAi é gratuito? Qual é a licença?
- iFixAi é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- iFixAi ainda é mantido?
- Manutenção ativa. O último commit de iFixAi foi em 6 de nov. de 2026.
- Para que posso usar iFixAi?
- Verificar se um agente de suporte ao cliente respeita as permissões para reembolsos e alterações de conta. Testar um agente contra prompt injection antes de colocá-lo em produção. Produzir evidências de auditoria para frameworks de governança de IA, como o EU AI Act ou o NIST AI RMF. Adicionar uma etapa de regressão para o comportamento do agente em um pipeline de CI.
- Como instalar iFixAi?
- Crie e ative um virtualenv: python3 -m venv .venv && source .venv/bin/activate Instale o iFixAi pelo PyPI: pip install ifixai Gere o ambiente de simulação de referência: ifixai author reference -o reference.yaml Execute as inspeções padrão no agente de demonstração integrado (não é necessária uma chave de API): ifixai run --provider mock --eval-mode self --fixture reference.yaml
- Onde consigo iFixAi?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ifixai-ai/iFixAi
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework Python open source para red teaming de sistemas com LLMs e agentes de IA, que simula ataques para encontrar vulnerabilidades e oferece proteções para produção.
Biblioteca Python que avalia a probabilidade de respostas de LLM conterem alucinações usando quantificação de incerteza, com scorers black-box, white-box, judge e ensemble.
Biblioteca Python de código aberto para criar evals, fazer red teaming e varreduras de vulnerabilidades em sistemas baseados em LLMs e sistemas agênticos.
Toolkit em Python para testar LLMs, guardrails e aplicações com LLM contra ataques de prompt injection e jailbreak.
Plataforma de governança de IA auto-hospedável para gerenciar riscos de IA, conformidade com frameworks como o EU AI Act e a ISO 42001 e avaliações de LLMs.