Repolode
投稿する
evidentlyai

evidentlyai/evidently

100種類以上の組み込みメトリクスとドリフト検出を備えた、ML・LLMシステムの評価、テスト、監視を行うオープンソースのPythonフレームワーク。

GitHub で見る公式サイト
スター
7,999
フォーク
954
未解決の Issue
345
最終コミット
23 日前

これは何？

Evidentlyは、実験から本番環境まで、機械学習システムやLLMシステムの評価、テスト、監視に使えるオープンソースのPythonライブラリです。表形式データとテキストデータに対応し、分類や回帰などの予測タスクに加え、RAGやLLMの出力品質といった生成タスクも評価できます。

基本的なワークフローでは、メトリクスを計算・要約するReportsと、Reportに合否条件を追加して回帰テスト、CI/CDチェック、データ検証に使えるTest Suitesを利用します。ReportsはPython上で確認できるほか、JSON、Pythonの辞書、HTMLとしてエクスポートできます。データドリフト検出、データ品質チェック、LLM judgesなどが組み込み機能として用意されており、Pythonでカスタムメトリクスを作成することもできます。

継続的な監視向けに、Evidentlyはメトリクスとテスト結果の推移を追跡できるWeb UIを提供しています。オープンソースパッケージを使ってセルフホストすることも、マネージドサービスのEvidently Cloudを利用することもできます。

主な機能

  • 01データドリフト、データ品質、分類、回帰、ランキング、レコメンデーション向けの組み込みメトリクス。
  • 02テキスト記述子やLLM-as-a-judge評価器を使ったLLM評価。
  • 03CI/CDや回帰チェック向けに合否条件を設定できるReportsとTest Suites。
  • 04結果をHTML、JSON、Pythonの辞書としてエクスポート。
  • 05メトリクスの推移を追跡できるセルフホスト型の監視UI。

ユースケース

  • 本番環境の入力データが学習データからドリフトしていないか検出する。
  • CIパイプラインでLLMやRAGの出力に対する回帰テストを実行する。
  • モデルの学習やバッチパイプラインの前にデータ品質を検証する。
  • デプロイ済みMLモデルの性能をダッシュボードで継続的に監視する。

クイックスタート

  1. 1

    PyPIからEvidentlyをインストールする

    pip install evidently
  2. 2

    デモプロジェクトでEvidently UIを起動する

    evidently ui --demo-projects all
  3. 3

    ブラウザーでlocalhost:8000を開いてUIにアクセスする

使う前に知っておきたいこと

  • アラート、データセットやユーザーの管理、ノーコード評価などの一部の高度な機能は、有料プランのEvidently Cloudでのみ利用でき、オープンソース版には含まれていません。

トピック

#machine-learning#llm#mlops#model-monitoring#data-drift#data-quality#evaluation#data-science#data-validation#generative-ai

よくある質問

evidently とは？
100種類以上の組み込みメトリクスとドリフト検出を備えた、ML・LLMシステムの評価、テスト、監視を行うオープンソースのPythonフレームワーク。 Evidentlyは、実験から本番環境まで、機械学習システムやLLMシステムの評価、テスト、監視に使えるオープンソースのPythonライブラリです。表形式データとテキストデータに対応し、分類や回帰などの予測タスクに加え、RAGやLLMの出力品質といった生成タスクも評価できます。
evidently は無料で使えますか？ライセンスは？
evidently は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
evidently は今もメンテナンスされていますか？
活発にメンテナンス中。evidently の最終コミットは 2026年9月29日 です。
evidently は何に使えますか？
本番環境の入力データが学習データからドリフトしていないか検出する。 CIパイプラインでLLMやRAGの出力に対する回帰テストを実行する。 モデルの学習やバッチパイプラインの前にデータ品質を検証する。 デプロイ済みMLモデルの性能をダッシュボードで継続的に監視する。
evidently のインストール方法は？
PyPIからEvidentlyをインストールする: pip install evidently デモプロジェクトでEvidently UIを起動する: evidently ui --demo-projects all ブラウザーでlocalhost:8000を開いてUIにアクセスする
evidently はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/evidentlyai/evidently

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト