一款 Python 命令行工具，通过 61 项检测审计 AI 智能体是否按职责行事、能否抵御操纵、是否编造信息。
4.4万+4602 本周1785PythonApache-2.0更新于 23小时前
Giskard-AI/giskard-oss
开源 Python 库，用于对 LLM 与智能体系统编写评测、红队测试和漏洞扫描。
- Star
- 5,945
- Fork
- 561
- 未关闭 Issue
- 77
- 最近提交
- 5天前
这是什么？
Giskard 是一个用于测试和评估智能体系统的 Python 库。它可以把 LLM、黑盒智能体或多步骤流水线封装为同步或异步的可调用对象，并对其输出运行检查。由于 LLM 输出具有不确定性，它的评测既支持字符串匹配、正则和语义相似度等断言，也支持 Groundedness、Conformity、LLMJudge 等 LLM-as-judge 检查。
v3 版本由若干职责清晰的包组成。giskard-checks 提供场景 API、测试套件和内置检查，适用于回归测试、RAG 结果的依据性校验以及多轮对话测试。giskard-scan 提供漏洞扫描器，可根据对智能体的自然语言描述自动生成对抗测试集，覆盖提示注入、越狱和有害内容等风险，并提供用于知识库质量评估的 quality_scan。
面向表格类机器学习模型的 v2 扫描与 RAGET 测试集生成功能仍可用于 v2 用户，但 v2 已不再积极维护。运行需要 Python 3.12 及以上版本，模型服务商的 SDK 通过 pip extras 按需安装。
核心功能
- 01基于场景（交互加检查）的 API 构建评测
- 02内置字符串匹配、正则、语义相似度等检查
- 03提供 Groundedness、Conformity、LLMJudge 等用于 RAG 与安全评估的检查
- 04根据智能体描述自动生成红队测试套件
- 05包含提示注入探测数据，覆盖 OWASP LLM Top-10 威胁类别
- 06按需通过 pip extras 安装的模块化包
适用场景
- 在修改提示词或更换模型后，对 LLM 应用做回归测试
- 检查 RAG 回答是否基于检索到的上下文
- 对客服聊天机器人进行提示注入和有害输出的红队测试
- 端到端评估智能体的多轮对话表现
快速上手
- 1
安装核心 checks 库
pip install giskard - 2
安装漏洞扫描扩展
pip install "giskard[scan]" - 3
安装 LLM 评判所需的提供商 SDK（例如 OpenAI）并设置其 API 密钥
pip install "giskard[openai]"
使用前须知
- 需要 Python 3.12 或更高版本。
- LLM 评判和扫描器需要提供商的 API 密钥，例如 OpenAI。
- 面向表格机器学习模型的 v2 扫描仅保留在旧版中，且 v2 已不再积极维护。
收录于专题
标签
#llm-evaluation#red-teaming#ai-testing#llm-security#rag-evaluation#agent-evaluation#python#ai-red-team#ai-security#fairness-ai
常见问题
- giskard-oss 是什么？
- 开源 Python 库，用于对 LLM 与智能体系统编写评测、红队测试和漏洞扫描。 Giskard 是一个用于测试和评估智能体系统的 Python 库。它可以把 LLM、黑盒智能体或多步骤流水线封装为同步或异步的可调用对象，并对其输出运行检查。由于 LLM 输出具有不确定性，它的评测既支持字符串匹配、正则和语义相似度等断言，也支持 Groundedness、Conformity、LLMJudge 等 LLM-as-judge 检查。
- giskard-oss 可以免费使用吗？用的什么许可证？
- giskard-oss 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- giskard-oss 还在维护吗？
- 活跃维护中。giskard-oss 最近一次提交是在 2026年11月2日。
- giskard-oss 适合用来做什么？
- 在修改提示词或更换模型后，对 LLM 应用做回归测试 检查 RAG 回答是否基于检索到的上下文 对客服聊天机器人进行提示注入和有害输出的红队测试 端到端评估智能体的多轮对话表现
- giskard-oss 怎么安装和运行？
- 安装核心 checks 库: pip install giskard 安装漏洞扫描扩展: pip install "giskard[scan]" 安装 LLM 评判所需的提供商 SDK（例如 OpenAI）并设置其 API 密钥: pip install "giskard[openai]"
- 在哪里获取 giskard-oss？
- 源代码和安装说明在 GitHub 上：https://github.com/Giskard-AI/giskard-oss
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
腾讯朱雀实验室开源的全栈 AI 红队测试平台，用于扫描 AI 智能体、MCP 服务、Agent Skills 与 AI 基础设施的安全风险。
7409+177 本周739PythonApache-2.0维护活跃更新于 前天
开源的 AI 智能体对抗测试引擎、SDK 与 CLI，对真实接口发起攻击并将失败结果转为防火墙规则。
232+9 本周22PythonApache-2.0维护活跃更新于 前天
开源 AI 安全验证工具，检查模型文件、代码、在线 LLM/Agent/MCP 服务及录制的 Agent 运行记录。
20317PythonApache-2.0更新于 16小时前
开源命令行工具，用于探测大语言模型在提示注入、数据泄露、越狱和有害输出等方面的漏洞。
9905+109 本周1444PythonApache-2.0维护活跃更新于 3天前
开源 Python 框架，用于对 LLM 系统和 AI 智能体进行红队测试，模拟攻击发现漏洞并提供生产环境防护。
3086+11 本周505PythonApache-2.0更新于 15天前