NVIDIA/garak

这是什么？

核心功能

• 01内置大量探测器，覆盖提示注入、越狱、编码攻击、幻觉和毒性内容等。
• 02支持 Hugging Face、OpenAI、AWS Bedrock、Replicate、Cohere、Groq、NIM 以及 REST 接口。
• 03默认运行全部探测器，也可通过 --spec 指定某个模块或单个探测器。
• 04生成详细的 JSONL 运行报告，并单独记录成功攻击的命中日志。
• 05采用探测器、检测器、生成器等插件结构，便于扩展自定义测试。

适用场景

• 在发布聊天机器人或 LLM 应用前进行红队测试。
• 用同一组攻击比较不同模型的抗攻击能力。
• 检查自托管或 API 提供的模型是否容易受到已知越狱提示的影响。
• 将自动化 LLM 安全检测纳入研究或评估流程。

快速上手

1. 1

   从 PyPI 安装 garak

   python -m pip install -U garak
2. 2

   设置 OpenAI API 密钥(将示例值替换为真实密钥)

   export OPENAI_API_KEY="sk-123XXXXXXXXXXXX"
3. 3

   对 OpenAI 模型运行编码类提示注入扫描

   python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

使用前须知

• !扫描托管模型需要服务商提供的 API 密钥,例如 OpenAI、Replicate 或 Cohere。
• !README 称该工具主要在 Linux 和 macOS 上开发和测试。

标签

常见问题

garak 是什么？

开源命令行工具，用于探测大语言模型在提示注入、数据泄露、越狱和有害输出等方面的漏洞。 garak 是一款面向大语言模型的漏洞扫描工具，可以对目标模型运行一组探测器，并记录模型在哪些情况下产生不良输出。覆盖的风险包括幻觉、数据泄露、提示注入、错误信息、毒性内容和越狱攻击等。它的设计思路参考了 nmap 之类的网络扫描器，但针对的是 LLM 和对话系统。

garak 可以免费使用吗？用的什么许可证？

garak 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

garak 还在维护吗？

活跃维护中。garak 最近一次提交是在 2026年10月20日。

garak 适合用来做什么？

在发布聊天机器人或 LLM 应用前进行红队测试。 用同一组攻击比较不同模型的抗攻击能力。 检查自托管或 API 提供的模型是否容易受到已知越狱提示的影响。 将自动化 LLM 安全检测纳入研究或评估流程。

garak 怎么安装和运行？

从 PyPI 安装 garak: python -m pip install -U garak 设置 OpenAI API 密钥(将示例值替换为真实密钥): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" 对 OpenAI 模型运行编码类提示注入扫描: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding

在哪里获取 garak？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/garak