openlayer-ai/jevals

これは何？

主な機能

• 011つのトレースに対するすべての評価を、判定モデルへの単一のリクエストで実行します。
• 02エージェントの振る舞い、セキュリティ、品質を対象とする37種類の評価を提供し、Ragas系の指標も含みます。
• 03共通スキーマに基づき、PythonクラスまたはYAMLファイルで評価を定義できます。
• 04ゲートによってツール呼び出しを許可・エスカレーション・ブロックでき、モデルに渡す前にPII/PHIをマスキングできます。
• 05TypeSafeまたはVercel経由のJev、OpenRouter、Kev、Laya、Eikos、チャットLLMなど、複数のバックエンドに対応します。
• 06トレースの再生と、ラベル付きデータに基づくしきい値の較正を行うCLIが含まれます。

ユースケース

• 本番環境のエージェントトレースをリクエストごとに採点し、ツールの誤用、根拠のない回答、スコープ違反を検出する。
• エージェントが処理する前に、ツールの結果や取得したドキュメントに含まれる間接的なプロンプトインジェクションをブロックする。
• 返金やデータベースの削除など、取り消せないツール呼び出しにゲートを設け、人による確認へエスカレーションする。
• 高コストなLLM判定役を使わずに、RAGやエージェントのパイプラインに対するオフラインの回帰評価を実行する。

クイックスタート

1. 1

   PyPIからパッケージをインストールします

   pip install jevals
2. 2

   Vercel AI Gateway経由でJevバックエンド用のAPIキーを設定します

   export AI_GATEWAY_API_KEY=...

使う前に知っておきたいこと

• !キャリブレーション済みの評価を実行するには、Jev APIキー、TypeSafeアカウント、またはKevやEikosなどのセルフホスト型決定モデルが必要です。
• !ローカルでの実行可否はハードウェアによって異なります。KevとLayaにはMacが必要で、EikosにはGPUが必要です。
• !決定モデルがない場合、エミュレートされたchat-LLMバックエンドが返す確率は0.00または1.00のみです。

収録されている特集

トピック

よくある質問

jevals とは？

ホスト型またはローカルのJev系判定モデルを使ってエージェントの評価とガードレールを実行するPythonライブラリ。トレース内のすべてのチェックを1回のリクエストにまとめます。 jevalsは、最先端のLLMを判定役にする代わりに判定モデルを使って、LLMエージェントの評価とガードレールを実行します。各評価は、型付きのはい／いいえ、選択式、またはルーブリック形式の質問です。1つのトレースに対するすべての評価を単一のリクエストにまとめ、較正済みの確率を返します。エージェントの振る舞い（ツール選択、根拠付け、スコープ、ループ）、セキュリティ（プロンプトインジェクションと間接インジェクション、PII/PHI、シークレット）、Ragas系の品質指標を評価できます。

jevals は無料で使えますか？ライセンスは？

jevals は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

jevals は今もメンテナンスされていますか？

活発にメンテナンス中。jevals の最終コミットは 2026年11月2日 です。

jevals は何に使えますか？

本番環境のエージェントトレースをリクエストごとに採点し、ツールの誤用、根拠のない回答、スコープ違反を検出する。 エージェントが処理する前に、ツールの結果や取得したドキュメントに含まれる間接的なプロンプトインジェクションをブロックする。 返金やデータベースの削除など、取り消せないツール呼び出しにゲートを設け、人による確認へエスカレーションする。 高コストなLLM判定役を使わずに、RAGやエージェントのパイプラインに対するオフラインの回帰評価を実行する。

jevals のインストール方法は？

PyPIからパッケージをインストールします: pip install jevals Vercel AI Gateway経由でJevバックエンド用のAPIキーを設定します: export AI_GATEWAY_API_KEY=...

jevals はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/openlayer-ai/jevals