Repolode
提交项目
ifixai-ai

ifixai-ai/iFixAi

一款 Python 命令行工具，通过 61 项检测审计 AI 智能体是否按职责行事、能否抵御操纵、是否编造信息。

在 GitHub 查看官网
Star
43,588
Fork
1,785
未关闭 Issue
3
最近提交
20小时前

这是什么？

iFixAi 是一款面向 AI 智能体的独立审计工具。它根据配置文件搭建一个模拟业务环境，向智能体发送日常会遇到的各类请求，包括超出其职责范围的请求，再由独立的评审模型为每条回复打分，并记录提问内容与智能体的实际操作。

默认运行覆盖 10 项检测，只需普通的聊天接口即可进行，涵盖工具权限、提示词注入、策略违规、跨用户数据泄露、不确定性处理和指令遵循等方面。使用 --full-run 可运行全部 61 项检测，无法适用于该智能体的项目会被自动跳过。结果从五个核心维度给出 A 到 F 的评级，其中三项强制最低标准未通过时，评级上限为 D。

评审模型会选择与被测智能体不同服务商的模型。报告以 JSON 和 Markdown 格式输出，可通过 --min-score 参数在 CI 中设置质量门槛。内置的演示智能体无需 API 密钥即可体验完整流程。

核心功能

  • 01通过标准聊天接口快速运行 10 项默认检测。
  • 02借助 --full-run 选项运行全部 61 项检测。
  • 03评审模型选用与被测智能体不同服务商的模型。
  • 04结果按 A 到 F 评级，强制项未通过时限制最高等级。
  • 05支持导出 JSON 与 Markdown 报告，并可用于 CI 分数门槛。

适用场景

  • 检查客服智能体是否遵守退款和账户变更的权限规定。
  • 在上线前测试智能体对提示词注入的抵御能力。
  • 为 EU AI Act、NIST AI RMF 等 AI 治理框架整理审计证据。
  • 在 CI 流程中为智能体行为设置回归检查。

快速上手

  1. 1

    创建并激活虚拟环境

    python3 -m venv .venv && source .venv/bin/activate
  2. 2

    从 PyPI 安装 iFixAi

    pip install ifixai
  3. 3

    生成参考模拟环境

    ifixai author reference -o reference.yaml
  4. 4

    使用内置演示代理运行默认检查（无需 API 密钥）

    ifixai run --provider mock --eval-mode self --fixture reference.yaml

使用前须知

  • 进行真实审计需要来自其他提供商的评判模型及其 API 密钥。
  • 需要 Python 3.10 或更高版本。

收录于专题

命令行与终端工具测试框架与自动化测试工具

标签

#agent-evaluation#ai-safety#llm-evaluation#prompt-injection#red-teaming#ai-governance#cli#ai#ai-alignment#ai-evaluation

常见问题

iFixAi 是什么？
一款 Python 命令行工具，通过 61 项检测审计 AI 智能体是否按职责行事、能否抵御操纵、是否编造信息。 iFixAi 是一款面向 AI 智能体的独立审计工具。它根据配置文件搭建一个模拟业务环境，向智能体发送日常会遇到的各类请求，包括超出其职责范围的请求，再由独立的评审模型为每条回复打分，并记录提问内容与智能体的实际操作。
iFixAi 可以免费使用吗？用的什么许可证？
iFixAi 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
iFixAi 还在维护吗？
活跃维护中。iFixAi 最近一次提交是在 2026年11月6日。
iFixAi 适合用来做什么？
检查客服智能体是否遵守退款和账户变更的权限规定。 在上线前测试智能体对提示词注入的抵御能力。 为 EU AI Act、NIST AI RMF 等 AI 治理框架整理审计证据。 在 CI 流程中为智能体行为设置回归检查。
iFixAi 怎么安装和运行？
创建并激活虚拟环境: python3 -m venv .venv && source .venv/bin/activate 从 PyPI 安装 iFixAi: pip install ifixai 生成参考模拟环境: ifixai author reference -o reference.yaml 使用内置演示代理运行默认检查（无需 API 密钥）: ifixai run --provider mock --eval-mode self --fixture reference.yaml
在哪里获取 iFixAi？
源代码和安装说明在 GitHub 上：https://github.com/ifixai-ai/iFixAi

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目