Repolode
投稿する
braintrustdata

braintrustdata/autoevals

LLM-as-a-judge、ヒューリスティック、統計的な評価器でAIモデルの出力を採点するPython・TypeScriptライブラリ。

GitHub で見る
スター
1,073
フォーク
100
未解決の Issue
59
最終コミット
7 日前

これは何？

Autoevalsは、AIモデルの出力を自動評価するためのライブラリです。入力、出力、期待値を渡すと、組み込みのさまざまな評価器のいずれかが0〜1のスコアを返す、統一されたインターフェースを提供します。

このライブラリには3種類の評価手法が含まれています。事実性、安全性、要約、SQL、翻訳などのタスクでLLMを評価者として使うモデル採点型の評価、Levenshtein距離、完全一致、JSON diffなどのヒューリスティックなチェック、そしてBLEUなどの統計的指標です。さらに、faithfulness、context recall、answer relevancy向けのRAG専用スコアラーや、埋め込みベクトルの類似度評価も備えています。

選択肢ごとのスコアを設定できるカスタムプロンプトテンプレートや、Scoreオブジェクトを返す通常の関数を使って、独自の評価を作成できます。デフォルトではOPENAI_API_KEYで認証し、Braintrust AI Gatewayを含むOpenAI互換エンドポイントを指定できます。評価結果は任意でBraintrustに記録できます。

主な機能

  • 01Factuality、Closed QA、Moderation、SQLなどのモデル採点型評価器
  • 02Levenshtein距離、完全一致、JSON diffなどのヒューリスティックなスコアラー
  • 03faithfulness、context recall、answer relevancy向けのRAGスコアラー
  • 04カスタムプロンプトテンプレートと、独自のPythonまたはTypeScript採点関数
  • 05同期・非同期呼び出しに対応し、あらゆるOpenAI互換APIで動作

ユースケース

  • LLMの回答が参照回答と事実関係で一致しているかを確認する
  • 開発中にRAGパイプラインの検索結果と回答品質を採点する
  • テストスイートで一貫した指標を使い、プロンプトやモデルのバージョンを比較する
  • 既存の評価ワークフローに、LLMによる評価やルールベースのチェックを追加する

クイックスタート

  1. 1

    pipでPythonパッケージをインストールする

    pip install autoevals
  2. 2

    環境変数OPENAI_API_KEYを設定する（デフォルトの認証方法）

  3. 3

    PythonからFactuality評価を実行する

使う前に知っておきたいこと

  • LLMベースの評価器にはAPIキーが必要で、デフォルトでは有料のモデル呼び出しが発生します。ただし、Braintrust Gatewayはベータ期間中無料です。

収録されている特集

テストフレームワークと自動テストツール

トピック

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

よくある質問

autoevals とは？
LLM-as-a-judge、ヒューリスティック、統計的な評価器でAIモデルの出力を採点するPython・TypeScriptライブラリ。 Autoevalsは、AIモデルの出力を自動評価するためのライブラリです。入力、出力、期待値を渡すと、組み込みのさまざまな評価器のいずれかが0〜1のスコアを返す、統一されたインターフェースを提供します。
autoevals は無料で使えますか？ライセンスは？
autoevals は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
autoevals は今もメンテナンスされていますか？
活発にメンテナンス中。autoevals の最終コミットは 2026年10月30日 です。
autoevals は何に使えますか？
LLMの回答が参照回答と事実関係で一致しているかを確認する 開発中にRAGパイプラインの検索結果と回答品質を採点する テストスイートで一貫した指標を使い、プロンプトやモデルのバージョンを比較する 既存の評価ワークフローに、LLMによる評価やルールベースのチェックを追加する
autoevals のインストール方法は？
pipでPythonパッケージをインストールする: pip install autoevals 環境変数OPENAI_API_KEYを設定する（デフォルトの認証方法） PythonからFactuality評価を実行する
autoevals はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/braintrustdata/autoevals

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト