Repolode
confident-ai

confident-ai/deepteam

开源 Python 框架,用于对 LLM 系统和 AI 智能体进行红队测试,模拟攻击发现漏洞并提供生产环境防护。

Star
3,035
Fork
497
未关闭 Issue
80
最近提交
前天

这是什么?

DeepTeam 是面向 LLM 应用的红队测试框架,可以理解为针对语言模型的渗透测试。它模拟越狱、提示词注入、多轮对话诱导等攻击,用于发现 AI 智能体、RAG 流水线和聊天机器人中的偏见、PII 泄露、SQL 注入等问题。

框架内置 50 多种漏洞类型,涵盖数据隐私、负责任 AI、安全、内容安全、商业和智能体等类别,并提供 20 多种单轮与多轮攻击方法。每项漏洞通过 LLM-as-a-Judge 指标给出通过或失败的二元评分。此外,它还可以直接对照 OWASP Top 10 for LLMs、NIST AI RMF、MITRE ATLAS 等安全框架进行测试。

除测试外,DeepTeam 提供 7 种护栏,可实时对 LLM 的输入和输出做二元分类,覆盖提示词注入、毒性内容、隐私信息等检查。项目在本地运行,基于 DeepEval 构建,支持通过 Python 调用或 YAML 配置的 CLI 执行。

核心功能

  • 01模拟针对 LLM 系统的越狱、提示词注入和多轮对话攻击
  • 02内置 50 多种漏洞类型,覆盖隐私、安全、内容安全和智能体风险
  • 03可直接对照 OWASP、NIST、MITRE 等 AI 安全框架执行测试
  • 04提供 7 种护栏,用于实时检查输入和输出
  • 05支持自定义漏洞,可通过 Python 或带 YAML 配置的 CLI 运行

适用场景

  • 上线前测试客服聊天机器人是否存在提示词注入和有害输出
  • 审计 RAG 流水线是否存在 PII 泄露和偏见问题
  • 检查 AI 智能体的工具调用是否存在权限越界或授权缺陷
  • 为生产环境中的 LLM 应用增加运行时护栏

使用前须知

  • 漏洞评分使用 LLM 作为裁判的方式,因此运行测试需要可用的大语言模型。

标签

常见问题

deepteam 是什么?
开源 Python 框架,用于对 LLM 系统和 AI 智能体进行红队测试,模拟攻击发现漏洞并提供生产环境防护。 DeepTeam 是面向 LLM 应用的红队测试框架,可以理解为针对语言模型的渗透测试。它模拟越狱、提示词注入、多轮对话诱导等攻击,用于发现 AI 智能体、RAG 流水线和聊天机器人中的偏见、PII 泄露、SQL 注入等问题。
deepteam 可以免费使用吗?用的什么许可证?
deepteam 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
deepteam 还在维护吗?
活跃维护中。deepteam 最近一次提交是在 2026年10月20日。
deepteam 适合用来做什么?
上线前测试客服聊天机器人是否存在提示词注入和有害输出 审计 RAG 流水线是否存在 PII 泄露和偏见问题 检查 AI 智能体的工具调用是否存在权限越界或授权缺陷 为生产环境中的 LLM 应用增加运行时护栏
在哪里获取 deepteam?
源代码和安装说明在 GitHub 上:https://github.com/confident-ai/deepteam

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目