LLMアプリケーションの出力をテストするための、事前構築済み・カスタマイズ可能な評価器を備えたPythonおよびTypeScriptライブラリ。LLM-as-judgeによるスコアリングにも対応。 OpenEvalsは、従来のソフトウェアにおけるユニットテストに近い、LLMアプリケーション向けの既成の評価器ライブラリです。まずは出発点として、組み込みの評価器をそのまま使い、そこから各チームが自分たちのアプリケーションに合わせた評価器を作成できます。

openevals は無料で使えますか？ライセンスは？

openevals は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

openevals は今もメンテナンスされていますか？

活発にメンテナンス中。openevals の最終コミットは 2026年10月21日です。

openevals は何に使えますか？

リリース前に、LLMチャットボットの回答が簡潔で正確か、または幻覚を含まないかを確認する。 RAGパイプラインの根拠性と検索結果の関連性をスコアリングする。モデル出力に含まれる有害表現、PIIの漏えい、プロンプトインジェクションを検出する。 CIのテストスイートにLLM出力のチェックを追加する。

openevals のインストール方法は？

pipでopenevalsをインストールする: pip install openevals OpenAI APIキーを環境変数として設定する: export OPENAI_API_KEY="your_openai_api_key" READMEにある簡潔さ評価器のサンプルを実行する

openevals はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/langchain-ai/openevals

langchain-ai/openevals

Q: openevals は今もメンテナンスされていますか？

活発にメンテナンス中。openevals の最終コミットは 2026年10月21日 です。

LLMアプリケーションの出力をテストするための、事前構築済み・カスタマイズ可能な評価器を備えたPythonおよびTypeScriptライブラリ。LLM-as-judgeによるスコアリングにも対応。

GitHub で見る

スター: 1,227
フォーク: 133
未解決の Issue: 25
最終コミット: 4 時間前

これは何？

OpenEvalsは、従来のソフトウェアにおけるユニットテストに近い、LLMアプリケーション向けの既成の評価器ライブラリです。まずは出発点として、組み込みの評価器をそのまま使い、そこから各チームが自分たちのアプリケーションに合わせた評価器を作成できます。

中核となるのはcreate_llm_as_judge関数です。プロンプトと評価モデルを渡すと、入力と出力をプロンプト用に整形し、評価モデルのスコアを解析する評価器が返されます。品質、安全性、セキュリティ、RAG、コード、構造化データの抽出、エージェントの軌跡、音声や画像のコンテンツ向けに、事前構築済みのプロンプトが用意されています。評価モデルは、LangChain経由でprovider:model形式の文字列として指定するか、チャットモデルまたはOpenAIクライアントのインスタンスとして渡せます。

OpenEvalsには、完全一致、Levenshtein距離、埋め込み類似度など、LLMを使わない評価器も含まれています。また、LangSmithのpytestランナーやVitest/Jestランナーと統合できます。PythonとTypeScriptの両方に対応しています。エージェント専用の評価器は、別プロジェクトのagentevalsで提供されています。

主な機能

01プロンプトと評価モデルからLLM-as-judge評価器を作成できます。
02品質、安全性、セキュリティ、RAG、コードのチェック用に、事前構築済みのプロンプトが用意されています。
03カスタムのスコア値、出力スキーマ、マルチモーダル添付に対応しています。
04完全一致、Levenshtein距離、埋め込み類似度など、LLMを使わない評価器を提供します。
05PythonとTypeScriptで、LangSmithのpytestおよびVitest/Jestランナーと連携できます。

ユースケース

リリース前に、LLMチャットボットの回答が簡潔で正確か、または幻覚を含まないかを確認する。
RAGパイプラインの根拠性と検索結果の関連性をスコアリングする。
モデル出力に含まれる有害表現、PIIの漏えい、プロンプトインジェクションを検出する。
CIのテストスイートにLLM出力のチェックを追加する。

クイックスタート

1
pipでopenevalsをインストールする
pip install openevals
2
OpenAI APIキーを環境変数として設定する
export OPENAI_API_KEY="your_openai_api_key"
3
READMEにある簡潔さ評価器のサンプルを実行する

使う前に知っておきたいこと

クイックスタートとデフォルトのLLM-as-judge評価器を使うには、従量課金サービスであるOpenAIのAPIキーが必要です。

トピック

#llm-evaluation #evals #llm #testing #llm-as-judge #rag #langchain

よくある質問

openevals とは？: LLMアプリケーションの出力をテストするための、事前構築済み・カスタマイズ可能な評価器を備えたPythonおよびTypeScriptライブラリ。LLM-as-judgeによるスコアリングにも対応。 OpenEvalsは、従来のソフトウェアにおけるユニットテストに近い、LLMアプリケーション向けの既成の評価器ライブラリです。まずは出発点として、組み込みの評価器をそのまま使い、そこから各チームが自分たちのアプリケーションに合わせた評価器を作成できます。
openevals は無料で使えますか？ライセンスは？: openevals は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
openevals は今もメンテナンスされていますか？: 活発にメンテナンス中。openevals の最終コミットは 2026年10月21日です。
openevals は何に使えますか？: リリース前に、LLMチャットボットの回答が簡潔で正確か、または幻覚を含まないかを確認する。 RAGパイプラインの根拠性と検索結果の関連性をスコアリングする。モデル出力に含まれる有害表現、PIIの漏えい、プロンプトインジェクションを検出する。 CIのテストスイートにLLM出力のチェックを追加する。
openevals のインストール方法は？: pipでopenevalsをインストールする: pip install openevals OpenAI APIキーを環境変数として設定する: export OPENAI_API_KEY="your_openai_api_key" READMEにある簡潔さ評価器のサンプルを実行する
openevals はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/langchain-ai/openevals

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。