Giskard-AI/giskard-oss

これは何？

主な機能

• 01インタラクションとチェックから評価を構築するシナリオAPI
• 02文字列一致、正規表現、意味的類似性、LLMによる判定などの組み込みチェック
• 03RAGと安全性の評価に使えるGroundedness、Conformity、LLMJudgeチェック
• 04エージェントの説明からレッドチーム用テストスイートを自動生成
• 05プロンプトインジェクションのプローブとOWASP LLM Top-10の脅威カテゴリ
• 06pip extrasでインストールできるモジュール式パッケージ

ユースケース

• プロンプトやモデルを変更した後に、LLMアプリケーションの回帰テストを行う
• RAGの回答が取得したコンテキストに基づいているか確認する
• カスタマーサポート用チャットボットにプロンプトインジェクションや有害な出力への耐性があるか、レッドチームテストを行う
• エージェントの複数ターンにわたる会話をエンドツーエンドで評価する

クイックスタート

1. 1

   コアチェックライブラリをインストールします

   pip install giskard
2. 2

   脆弱性スキャナーの追加機能をインストールします

   pip install "giskard[scan]"
3. 3

   LLM judge用のプロバイダーSDK（例：OpenAI）をインストールし、APIキーを設定します

   pip install "giskard[openai]"

使う前に知っておきたいこと

• !Python 3.12以降が必要です。
• !LLM judgeとスキャナーには、OpenAIなどのプロバイダーAPIキーが必要です。
• !v2の表形式MLスキャンはレガシー版のみで、v2は現在メンテナンスされていません。

収録されている特集

トピック

よくある質問

giskard-oss とは？

LLMベースおよびエージェント型システムの評価、レッドチームテスト、脆弱性スキャンを行うオープンソースのPythonライブラリ。 Giskardは、エージェント型システムのテストと評価を行うPythonライブラリです。LLM、ブラックボックスのエージェント、複数ステップのパイプラインなど、あらゆる対象を同期または非同期の呼び出し可能オブジェクトとしてラップし、その出力をチェックします。LLMの出力は非決定的なため、評価では文字列一致、正規表現、意味的類似性などの通常のアサーションと、Groundedness、Conformity、LLMJudgeのようなLLM-as-judgeチェックを組み合わせます。

giskard-oss は無料で使えますか？ライセンスは？

giskard-oss は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

giskard-oss は今もメンテナンスされていますか？

活発にメンテナンス中。giskard-oss の最終コミットは 2026年11月2日 です。

giskard-oss は何に使えますか？

プロンプトやモデルを変更した後に、LLMアプリケーションの回帰テストを行う RAGの回答が取得したコンテキストに基づいているか確認する カスタマーサポート用チャットボットにプロンプトインジェクションや有害な出力への耐性があるか、レッドチームテストを行う エージェントの複数ターンにわたる会話をエンドツーエンドで評価する

giskard-oss のインストール方法は？

コアチェックライブラリをインストールします: pip install giskard 脆弱性スキャナーの追加機能をインストールします: pip install "giskard[scan]" LLM judge用のプロバイダーSDK（例：OpenAI）をインストールし、APIキーを設定します: pip install "giskard[openai]"

giskard-oss はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Giskard-AI/giskard-oss