Una CLI en Python que audita agentes de IA con 61 inspecciones para comprobar si respetan su rol, resisten la manipulación y evitan inventar información.
iFixAi es una herramienta independiente para auditar agentes de IA. Crea un entorno empresarial simulado a partir de un perfil y un archivo de políticas, envía al agente solicitudes habituales de un día normal —incluidas algunas que lo empujan a salir de su rol— y hace que otro modelo evaluador califique cada respuesta. Cada hallazgo registra qué se preguntó y cómo respondió el agente.
La ejecución predeterminada abarca 10 inspecciones compatibles con un endpoint de chat estándar, que cubren permisos de herramientas, prompt injection, incumplimientos de políticas, filtraciones de datos entre usuarios, gestión de la incertidumbre y seguimiento de instrucciones. La opción --full-run ejecuta las 61 inspecciones y omite las que no se aplican al agente. Los resultados se califican de A a F en cinco pilares, con tres mínimos obligatorios que limitan la calificación a D si no se cumplen.
El modelo evaluador debe ser de un proveedor distinto al del agente bajo prueba. Los informes se generan en JSON y Markdown, y el umbral --min-score puede usarse para bloquear pipelines de CI. Un agente de demostración integrado permite ver el flujo de trabajo sin una clave de API.
Crea y activa un virtualenv
python3 -m venv .venv && source .venv/bin/activateInstala iFixAi desde PyPI
pip install ifixaiGenera el entorno de simulación de referencia
ifixai author reference -o reference.yamlEjecuta las inspecciones predeterminadas en el agente de demostración integrado (no se necesita una clave de API)
ifixai run --provider mock --eval-mode self --fixture reference.yamlResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un escáner de código abierto para línea de comandos que prueba LLM en busca de fallos como prompt injection, filtraciones de datos, jailbreaks y respuestas tóxicas.
Framework open source de Python para hacer red teaming a sistemas LLM y agentes de IA, simular ataques, detectar vulnerabilidades y aplicar guardrails en producción.
Biblioteca de Python que evalúa la probabilidad de que las respuestas de LLM contengan alucinaciones mediante cuantificación de incertidumbre, con evaluadores black-box, white-box, de juez y de conjunto.
Biblioteca open source de Python para crear evals, hacer red teaming y analizar vulnerabilidades en sistemas basados en LLM y sistemas agénticos.
Toolkit de Python para probar LLMs, guardrails y aplicaciones basadas en LLM frente a ataques de prompt injection y jailbreak.
Plataforma de gobernanza de IA autoalojable para gestionar riesgos de IA, cumplir marcos como la Ley de IA de la UE e ISO 42001 y evaluar LLM.