Repolode
投稿する
ifixai-ai

ifixai-ai/iFixAi

AIエージェントが役割を逸脱せず、操作に耐え、捏造を避けるかを61項目で監査するPython製CLI。

GitHub で見る公式サイト
スター
43,588
フォーク
1,785
未解決の Issue
3
最終コミット
21 時間前

これは何？

iFixAiは、AIエージェントを独立して監査するツールです。プロファイルとポリシーファイルをもとにビジネス環境をシミュレーションし、通常業務で寄せられるさまざまな依頼をエージェントに送ります。役割を逸脱させようとする依頼も含まれます。各応答は別の判定モデルが評価し、検出結果には依頼内容とエージェントの応答が記録されます。

デフォルトの実行では、標準的なチャットエンドポイントで動作する10項目を監査します。対象は、ツールの権限、プロンプトインジェクション、ポリシー違反、ユーザー間のデータ漏えい、不確実性への対処、指示への従い方などです。--full-runオプションを使うと、エージェントに適用できない項目を除いた61項目すべてを実行します。結果は5つの柱に基づいてAからFで採点され、3つの必須最低基準を満たさない場合は、評価がDに上限設定されます。

判定モデルには、テスト対象のエージェントとは別のプロバイダーのモデルが選ばれます。レポートはJSONとMarkdownで出力され、--min-scoreでCIパイプラインに合格基準を設定できます。組み込みのデモエージェントを使えば、APIキーなしで一連の流れを確認できます。

主な機能

  • 01標準的なチャットエンドポイントを使い、デフォルトの10項目を短時間で監査します。
  • 02--full-runオプションで61項目の監査を実行できます。
  • 03テスト対象のエージェントとは別のプロバイダーの判定モデルを使用します。
  • 04結果をAからFで評価し、必須最低基準を満たさない場合はスコアに上限を設けます。
  • 05レポートをJSONとMarkdownで出力し、CIでスコアを合格条件として設定できます。

ユースケース

  • カスタマーサポートエージェントが、返金やアカウント変更に関する権限を守るか確認する。
  • 本番環境へのデプロイ前に、エージェントがプロンプトインジェクションに耐えられるかテストする。
  • EU AI ActやNIST AI RMFなどのAIガバナンスフレームワーク向けに、監査の証跡を作成する。
  • CIパイプラインにエージェントの挙動を対象とした回帰テストのゲートを追加する。

クイックスタート

  1. 1

    virtualenvを作成して有効化する

    python3 -m venv .venv && source .venv/bin/activate
  2. 2

    PyPIからiFixAiをインストールする

    pip install ifixai
  3. 3

    参照用のシミュレーション環境を生成する

    ifixai author reference -o reference.yaml
  4. 4

    組み込みのデモエージェントに対してデフォルトの検査を実行する（APIキー不要）

    ifixai run --provider mock --eval-mode self --fixture reference.yaml

使う前に知っておきたいこと

  • 実際の監査を実行するには、別のプロバイダーのjudgeモデルとそのAPIキーが必要です。
  • Python 3.10以降が必要です。

収録されている特集

CLI・ターミナルツールテストフレームワークと自動テストツール

トピック

#agent-evaluation#ai-safety#llm-evaluation#prompt-injection#red-teaming#ai-governance#cli#ai#ai-alignment#ai-evaluation

よくある質問

iFixAi とは？
AIエージェントが役割を逸脱せず、操作に耐え、捏造を避けるかを61項目で監査するPython製CLI。 iFixAiは、AIエージェントを独立して監査するツールです。プロファイルとポリシーファイルをもとにビジネス環境をシミュレーションし、通常業務で寄せられるさまざまな依頼をエージェントに送ります。役割を逸脱させようとする依頼も含まれます。各応答は別の判定モデルが評価し、検出結果には依頼内容とエージェントの応答が記録されます。
iFixAi は無料で使えますか？ライセンスは？
iFixAi は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
iFixAi は今もメンテナンスされていますか？
活発にメンテナンス中。iFixAi の最終コミットは 2026年11月6日 です。
iFixAi は何に使えますか？
カスタマーサポートエージェントが、返金やアカウント変更に関する権限を守るか確認する。 本番環境へのデプロイ前に、エージェントがプロンプトインジェクションに耐えられるかテストする。 EU AI ActやNIST AI RMFなどのAIガバナンスフレームワーク向けに、監査の証跡を作成する。 CIパイプラインにエージェントの挙動を対象とした回帰テストのゲートを追加する。
iFixAi のインストール方法は？
virtualenvを作成して有効化する: python3 -m venv .venv && source .venv/bin/activate PyPIからiFixAiをインストールする: pip install ifixai 参照用のシミュレーション環境を生成する: ifixai author reference -o reference.yaml 組み込みのデモエージェントに対してデフォルトの検査を実行する（APIキー不要）: ifixai run --provider mock --eval-mode self --fixture reference.yaml
iFixAi はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ifixai-ai/iFixAi

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

cvs-health / uqlm

不確実性定量化を用いてLLMの回答に幻覚が含まれる可能性を評価するPythonライブラリ。ブラックボックス、ホワイトボックス、判定役、アンサンブルの各スコアラーを備えています。

AI・機械学習#hallucination-detection#uncertainty-quantification#llm-evaluation
1217+2 今週140PythonApache-2.0活発にメンテナンス更新 25 日前