Repolode
投稿する
confident-ai

confident-ai/deepteam

LLMシステムやAIエージェントへの攻撃をシミュレーションして脆弱性を見つけ、本番環境向けのガードレールも提供する、オープンソースのPython製レッドチームフレームワーク。

GitHub で見る公式サイト
スター
3,035
フォーク
497
未解決の Issue
80
最終コミット
一昨日

これは何？

DeepTeamは、LLMアプリケーション向けのレッドチームフレームワークです。言語モデルのペネトレーションテストとも呼ばれ、ジェイルブレイクやプロンプトインジェクション、複数ターンにわたる悪用などの攻撃をシミュレーションし、AIエージェント、RAGパイプライン、チャットボットにおけるバイアス、PII漏えい、SQLインジェクションなどの問題を明らかにします。

データプライバシー、責任あるAI、セキュリティ、安全性、ビジネス、エージェント型のカテゴリに分類された50種類以上の脆弱性と、20種類以上の単一ターンおよび複数ターンの攻撃手法を備えています。各脆弱性はLLM-as-a-Judgeの指標でスコアリングされ、合格または不合格の二値結果が返されます。また、OWASP Top 10 for LLMs、NIST AI RMF、MITRE ATLASなどのフレームワークにテストを対応付けます。

テストに加えて、DeepTeamはプロンプトインジェクション、毒性、プライバシーなどをリアルタイムで判定する7種類のガードレールを提供します。ローカルで動作し、DeepEvalを基盤としており、PythonまたはYAML設定のCLIから実行できます。

主な機能

  • 01LLMシステムに対するジェイルブレイク、プロンプトインジェクション、複数ターン攻撃をシミュレーション
  • 02プライバシー、安全性、セキュリティ、エージェント型リスクにまたがる50種類以上の脆弱性を収録
  • 03レッドチームテストをOWASP、NIST、MITREのAI安全性フレームワークに対応付け
  • 04リアルタイムの入出力チェック用に7種類のガードレールを提供
  • 05カスタム脆弱性に対応し、PythonまたはYAML設定のCLIから実行可能

ユースケース

  • リリース前に、カスタマーサポート用チャットボットのプロンプトインジェクションや有害な出力をテストする
  • RAGパイプラインのPII漏えいやバイアスを監査する
  • AIエージェントのツール使用に、過剰な自律性や認可上の欠陥がないか確認する
  • 本番環境のLLMアプリケーションに実行時ガードレールを追加する

使う前に知っておきたいこと

  • 脆弱性のスコアリングにはLLM-as-a-Judgeを使用するため、テストの実行にはLLMへのアクセスが必要です。

トピック

#llm-security#red-teaming#ai-safety#prompt-injection#guardrails#llm-evaluation#jailbreak#llm-guardrails#llm-red-teaming#llm-safety

よくある質問

deepteam とは？
LLMシステムやAIエージェントへの攻撃をシミュレーションして脆弱性を見つけ、本番環境向けのガードレールも提供する、オープンソースのPython製レッドチームフレームワーク。 DeepTeamは、LLMアプリケーション向けのレッドチームフレームワークです。言語モデルのペネトレーションテストとも呼ばれ、ジェイルブレイクやプロンプトインジェクション、複数ターンにわたる悪用などの攻撃をシミュレーションし、AIエージェント、RAGパイプライン、チャットボットにおけるバイアス、PII漏えい、SQLインジェクションなどの問題を明らかにします。
deepteam は無料で使えますか？ライセンスは？
deepteam は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
deepteam は今もメンテナンスされていますか？
活発にメンテナンス中。deepteam の最終コミットは 2026年10月20日 です。
deepteam は何に使えますか？
リリース前に、カスタマーサポート用チャットボットのプロンプトインジェクションや有害な出力をテストする RAGパイプラインのPII漏えいやバイアスを監査する AIエージェントのツール使用に、過剰な自律性や認可上の欠陥がないか確認する 本番環境のLLMアプリケーションに実行時ガードレールを追加する
deepteam はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/confident-ai/deepteam

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト