开源命令行工具,用于探测大语言模型在提示注入、数据泄露、越狱和有害输出等方面的漏洞。
confident-ai/deepteam
开源 Python 框架,用于对 LLM 系统和 AI 智能体进行红队测试,模拟攻击发现漏洞并提供生产环境防护。
- Star
- 3,035
- Fork
- 497
- 未关闭 Issue
- 80
- 最近提交
- 前天
这是什么?
DeepTeam 是面向 LLM 应用的红队测试框架,可以理解为针对语言模型的渗透测试。它模拟越狱、提示词注入、多轮对话诱导等攻击,用于发现 AI 智能体、RAG 流水线和聊天机器人中的偏见、PII 泄露、SQL 注入等问题。
框架内置 50 多种漏洞类型,涵盖数据隐私、负责任 AI、安全、内容安全、商业和智能体等类别,并提供 20 多种单轮与多轮攻击方法。每项漏洞通过 LLM-as-a-Judge 指标给出通过或失败的二元评分。此外,它还可以直接对照 OWASP Top 10 for LLMs、NIST AI RMF、MITRE ATLAS 等安全框架进行测试。
除测试外,DeepTeam 提供 7 种护栏,可实时对 LLM 的输入和输出做二元分类,覆盖提示词注入、毒性内容、隐私信息等检查。项目在本地运行,基于 DeepEval 构建,支持通过 Python 调用或 YAML 配置的 CLI 执行。
核心功能
- 01模拟针对 LLM 系统的越狱、提示词注入和多轮对话攻击
- 02内置 50 多种漏洞类型,覆盖隐私、安全、内容安全和智能体风险
- 03可直接对照 OWASP、NIST、MITRE 等 AI 安全框架执行测试
- 04提供 7 种护栏,用于实时检查输入和输出
- 05支持自定义漏洞,可通过 Python 或带 YAML 配置的 CLI 运行
适用场景
- 上线前测试客服聊天机器人是否存在提示词注入和有害输出
- 审计 RAG 流水线是否存在 PII 泄露和偏见问题
- 检查 AI 智能体的工具调用是否存在权限越界或授权缺陷
- 为生产环境中的 LLM 应用增加运行时护栏
使用前须知
- 漏洞评分使用 LLM 作为裁判的方式,因此运行测试需要可用的大语言模型。
标签
常见问题
- deepteam 是什么?
- 开源 Python 框架,用于对 LLM 系统和 AI 智能体进行红队测试,模拟攻击发现漏洞并提供生产环境防护。 DeepTeam 是面向 LLM 应用的红队测试框架,可以理解为针对语言模型的渗透测试。它模拟越狱、提示词注入、多轮对话诱导等攻击,用于发现 AI 智能体、RAG 流水线和聊天机器人中的偏见、PII 泄露、SQL 注入等问题。
- deepteam 可以免费使用吗?用的什么许可证?
- deepteam 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- deepteam 还在维护吗?
- 活跃维护中。deepteam 最近一次提交是在 2026年10月20日。
- deepteam 适合用来做什么?
- 上线前测试客服聊天机器人是否存在提示词注入和有害输出 审计 RAG 流水线是否存在 PII 泄露和偏见问题 检查 AI 智能体的工具调用是否存在权限越界或授权缺陷 为生产环境中的 LLM 应用增加运行时护栏
- 在哪里获取 deepteam?
- 源代码和安装说明在 GitHub 上:https://github.com/confident-ai/deepteam
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个开源 Python 工具包,为基于 LLM 的对话应用添加可编程的安全护栏,控制话题、对话路径与输出。
腾讯朱雀实验室开源的全栈 AI 红队测试平台,用于扫描 AI 智能体、MCP 服务、Agent Skills 与 AI 基础设施的安全风险。
开源 AI 安全验证工具,检查模型文件、代码、在线 LLM/Agent/MCP 服务及录制的 Agent 运行记录。
为 Claude Code、Codex 等 AI 编程助手提供执行前拦截,阻止破坏性 Git 与文件命令及敏感文件访问。
纯 numpy 的 Python 守卫库,在 LLM 流式输出过程中实时检测重复循环、语言漂移等解码损坏并及时中止。