Repolode
fivetran

fivetran/great_expectations

データ品質を検証するPythonライブラリ。データに対する宣言的なExpectationをユニットテストとして記述し、検証レポートを生成できます。

スター
11,886
フォーク
1,877
未解決の Issue
57
最終コミット
4 日前

これは何?

Great ExpectationsのオープンソースコアであるGX Coreは、データ品質を検証するPythonライブラリです。中心となる概念はExpectationで、たとえば列の値が一定範囲内にあることや、テーブルのキーにnullが含まれないことなどをデータセットに対して宣言的に表明します。チームはこれらの表明をデータのユニットテストとして使い、パイプライン内で実行することで、不正なデータが後続の利用者に届く前に検出できます。

検証結果からドキュメントを自動生成できるため、エンジニアリング以外の人も、何を検証し、何が合格・不合格だったかを確認できます。Expectationという共通の語彙を通じて、データ、アナリティクス、エンジニアリングの各チームが、適切なデータの状態について合意できるようにすることを目指しています。pipでインストールし、gx.get_context()でData Contextを作成して利用を開始できます。Python 3.10〜3.14に対応しています。

主な機能

  • 01データセットのユニットテストとして機能する宣言的なExpectation
  • 02検証結果のドキュメントを自動生成
  • 03データ品質ルールを表現する、共通で読みやすい語彙
  • 04pipでインストールでき、Data Contextを呼び出すだけで利用を開始

ユースケース

  • データウェアハウスにロードする前に、ETLまたはELTパイプライン内のデータを検証する
  • 機械学習の学習データパイプラインにデータ品質チェックを追加する
  • エンジニアリング以外の関係者と、読みやすいデータ品質レポートを共有する

クイックスタート

  1. 1

    Python仮想環境を作成して有効化します(GX推奨)

  2. 2

    pipでGX Coreをインストールします

    pip install great_expectations
  3. 3

    GXをインポートし、PythonでData Contextを作成します

    import great_expectations as gx context = gx.get_context()

使う前に知っておきたいこと

  • Python 3.10〜3.14が必要です。それより新しいPythonバージョンは実験的なサポートのみです。

トピック

よくある質問

great_expectations とは?
データ品質を検証するPythonライブラリ。データに対する宣言的なExpectationをユニットテストとして記述し、検証レポートを生成できます。 Great ExpectationsのオープンソースコアであるGX Coreは、データ品質を検証するPythonライブラリです。中心となる概念はExpectationで、たとえば列の値が一定範囲内にあることや、テーブルのキーにnullが含まれないことなどをデータセットに対して宣言的に表明します。チームはこれらの表明をデータのユニットテストとして使い、パイプライン内で実行することで、不正なデータが後続の利用者に届く前に検出できます。
great_expectations は無料で使えますか?ライセンスは?
great_expectations は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
great_expectations は今もメンテナンスされていますか?
活発にメンテナンス中。great_expectations の最終コミットは 2026年10月16日 です。
great_expectations は何に使えますか?
データウェアハウスにロードする前に、ETLまたはELTパイプライン内のデータを検証する 機械学習の学習データパイプラインにデータ品質チェックを追加する エンジニアリング以外の関係者と、読みやすいデータ品質レポートを共有する
great_expectations のインストール方法は?
Python仮想環境を作成して有効化します(GX推奨) pipでGX Coreをインストールします: pip install great_expectations GXをインポートし、PythonでData Contextを作成します: import great_expectations as gx context = gx.get_context()
great_expectations はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/fivetran/great_expectations

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト