AIモデルファイル、コード、稼働中のLLM・エージェント・MCPエンドポイント、記録済みのエージェントトレースを検証し、問題点と未確認項目を報告するオープンソースのCLI・ライブラリです。
NVIDIA/garak
prompt injection、データ漏洩、jailbreak、有害な出力などの問題をLLMに対して検査する、オープンソースのコマンドラインスキャナー。
- スター
- 9,635
- フォーク
- 1,390
- 未解決の Issue
- 510
- 最終コミット
- 16 時間前
これは何?
garakは、大規模言語モデル向けの脆弱性スキャナーです。対象モデルに対して多数のプローブを実行し、幻覚、データ漏洩、prompt injection、誤情報、有害な出力、jailbreakなど、望ましくない挙動が生じる箇所を記録します。nmapのようなネットワークスキャナーを緩やかに参考にしつつ、LLMや対話システム向けに設計されています。
コマンドラインから操作します。対象の種類とモデル名を指定し、必要に応じて--specで実行対象をプローブのファミリーまたは単一のプローブに絞ると、garakが各プローブに推奨された検出器を応答に適用します。失敗したプロンプトは失敗率とともに報告され、すべての試行はJSONLレポートに記録されます。攻撃が成功した場合は、別のヒットログにも記録されます。
garakは、Hugging Faceのモデル(ローカルのパイプラインとホスト型エンドポイント)、OpenAI、AWS Bedrock、Replicate、Cohere、Groq、NIM、LiteLLM、llama.cpp互換のGGUFモデル、およびYAMLで設定した任意のRESTエンドポイントに対応しています。PyPIからインストールでき、Python 3.11以降が必要です。
主な機能
- 01prompt injection、jailbreak、エンコーディング攻撃、幻覚、有害な出力を検査する多数のプローブを収録。
- 02Hugging Face、OpenAI、AWS Bedrock、Replicate、Cohere、Groq、NIM、RESTエンドポイントに対応。
- 03デフォルトではすべてのプローブを実行し、--specを使えば選択したモジュールまたは単一のプローブを実行可能。
- 04詳細なJSONL実行レポートと、攻撃の成功を記録した別のヒットログを出力。
- 05プローブ、検出器、ジェネレーター、ハーネスで構成される、拡張可能なプラグイン構造を採用。
ユースケース
- リリース前にチャットボットやLLMアプリケーションのレッドチームテストを行う。
- 同じ攻撃セットに対する複数モデルの耐性を比較する。
- セルフホスト型またはAPI経由で提供されるモデルが、既知のjailbreakプロンプトに対して脆弱か確認する。
- 研究や評価のパイプラインにLLMのセキュリティチェックを自動で組み込む。
クイックスタート
- 1
PyPIからgarakをインストールする
python -m pip install -U garak - 2
OpenAI APIキーを設定する(例の値を実際のキーに置き換える)
export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" - 3
OpenAIモデルに対してエンコーディングを使ったプロンプトインジェクションスキャンを実行する
python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
使う前に知っておきたいこと
- ホスト型モデルのスキャンには、OpenAI、Replicate、Cohereなどのプロバイダー発行のAPIキーが必要です。
- READMEによると、主にLinuxとmacOSで開発・テストされています。
トピック
よくある質問
- garak とは?
- prompt injection、データ漏洩、jailbreak、有害な出力などの問題をLLMに対して検査する、オープンソースのコマンドラインスキャナー。 garakは、大規模言語モデル向けの脆弱性スキャナーです。対象モデルに対して多数のプローブを実行し、幻覚、データ漏洩、prompt injection、誤情報、有害な出力、jailbreakなど、望ましくない挙動が生じる箇所を記録します。nmapのようなネットワークスキャナーを緩やかに参考にしつつ、LLMや対話システム向けに設計されています。
- garak は無料で使えますか?ライセンスは?
- garak は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- garak は今もメンテナンスされていますか?
- 活発にメンテナンス中。garak の最終コミットは 2026年10月20日 です。
- garak は何に使えますか?
- リリース前にチャットボットやLLMアプリケーションのレッドチームテストを行う。 同じ攻撃セットに対する複数モデルの耐性を比較する。 セルフホスト型またはAPI経由で提供されるモデルが、既知のjailbreakプロンプトに対して脆弱か確認する。 研究や評価のパイプラインにLLMのセキュリティチェックを自動で組み込む。
- garak のインストール方法は?
- PyPIからgarakをインストールする: python -m pip install -U garak OpenAI APIキーを設定する(例の値を実際のキーに置き換える): export OPENAI_API_KEY="sk-123XXXXXXXXXXXX" OpenAIモデルに対してエンコーディングを使ったプロンプトインジェクションスキャンを実行する: python3 -m garak --target_type openai --target_name gpt-5-nano --spec probes.encoding
- garak はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NVIDIA/garak
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Cisco製のPythonツール。YARAルール、LLM分析、Cisco AI Defenseを使ってMCPサーバーなどをスキャンします。
エージェント、LLMアプリ、MLモデルのデバッグ、評価、監視、最適化を支援するオープンソースのAIエンジニアリングプラットフォーム。
宣言的な設定とCI/CD連携に対応した、プロンプト評価とLLMアプリのレッドチームテスト向けCLI・ライブラリ。
LLMベースの会話アプリケーションにプログラム可能なガードレールを追加し、話題や対話の流れ、出力を制御するオープンソースのPythonツールキット。
LLMアプリケーションの構築、学習、提供、評価、監視に使えるオープンソースライブラリを、カテゴリ別に120以上まとめた厳選リストです。