Repolode
ReversecLabs

ReversecLabs/spikee

プロンプトインジェクションや脱獄攻撃に対するLLM、ガードレール、LLMアプリケーションのテストに使えるPythonツールキット。

スター
269
フォーク
54
未解決の Issue
4
最終コミット
4 日前

これは何?

Spikeeは、LLM、ガードレール、LLMを活用したアプリケーションが、プロンプトインジェクションや脱獄攻撃にどれだけ耐えられるかを評価するツールキットです。テストは2段階で行います。まず、シードフォルダーからテストデータセットを生成し、必要に応じてプラグインでペイロードを変換します。次に、そのデータセットをテスト対象に対して実行し、各攻撃が成功したかどうかを判定します。

パイプラインの各部分はカスタマイズ可能なPythonモジュールです。Targetはテスト対象のシステムにSpikeeを適応させ、Judgeはキーワードや正規表現によるマッチング、またはLLMを使って成功を判定します。Attackはテスト中に反復型や適応型の攻撃パターンを生成できます。複数ターンのデータセット、Target、Attackにも対応しています。

Spikeeには、データセットの生成、テスト、結果分析に使えるCLIとWeb UIがあります。組み込みのプロバイダーはデフォルトでOpenAI互換エンドポイントを利用でき、Bedrock、Azure、Ollama、GroqなどのネイティブSDK向けオプションも用意されています。

主な機能

  • 01シードフォルダーからテストデータセットを生成し、プラグインによる任意のペイロード変換にも対応。
  • 02LLMプロバイダーなどのカスタムTargetや組み込みTargetに対してデータセットを実行。
  • 03基本的なキーワード/正規表現チェックやLLMベースのJudgeで攻撃の成否を判定。
  • 04反復型や複数ターンの戦略を含む動的なAttackに対応。
  • 05結果分析用のコマンドとWeb UIを提供。

ユースケース

  • 単体のLLMに脱獄プロンプトを試し、レッドチーム評価を行う。
  • チャットボットやRAGアプリケーションがプロンプトインジェクションにさらされていないかテストする。
  • 悪意のある入力をLLMガードレールがどれだけ遮断できるか評価する。
  • モデルやデータセットのバリエーションごとに攻撃成功率を比較する。

クイックスタート

  1. 1

    PyPIからspikeeをインストールする

    pip install spikee
  2. 2

    ワークスペース用のフォルダーを作成する

    mkdir workspace
  3. 3

    ワークスペースに移動し、組み込みのデータセットとモジュールで初期化する

    cd workspace && spikee init

使う前に知っておきたいこと

  • 基本インストールで対応するのはOpenAI互換エンドポイントのみです。他のプロバイダーを使うには、spikee[all]などの追加パッケージが必要です。
  • 一部のサンプルターゲットやプラグインには、torchやgoogletransなどのサードパーティライブラリが別途必要です。

収録されている特集

トピック

よくある質問

spikee とは?
プロンプトインジェクションや脱獄攻撃に対するLLM、ガードレール、LLMアプリケーションのテストに使えるPythonツールキット。 Spikeeは、LLM、ガードレール、LLMを活用したアプリケーションが、プロンプトインジェクションや脱獄攻撃にどれだけ耐えられるかを評価するツールキットです。テストは2段階で行います。まず、シードフォルダーからテストデータセットを生成し、必要に応じてプラグインでペイロードを変換します。次に、そのデータセットをテスト対象に対して実行し、各攻撃が成功したかどうかを判定します。
spikee は無料で使えますか?ライセンスは?
spikee は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
spikee は今もメンテナンスされていますか?
活発にメンテナンス中。spikee の最終コミットは 2026年11月3日 です。
spikee は何に使えますか?
単体のLLMに脱獄プロンプトを試し、レッドチーム評価を行う。 チャットボットやRAGアプリケーションがプロンプトインジェクションにさらされていないかテストする。 悪意のある入力をLLMガードレールがどれだけ遮断できるか評価する。 モデルやデータセットのバリエーションごとに攻撃成功率を比較する。
spikee のインストール方法は?
PyPIからspikeeをインストールする: pip install spikee ワークスペース用のフォルダーを作成する: mkdir workspace ワークスペースに移動し、組み込みのデータセットとモジュールで初期化する: cd workspace && spikee init
spikee はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/ReversecLabs/spikee

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト