AIエージェント、`.deepnote` YAML形式、Python・R・SQL向けのブロックエディターを備えた、Jupyterの置き換えとして使えるノートブック環境。
fivetran/great_expectations
データ品質を検証するPythonライブラリ。データに対する宣言的なExpectationをユニットテストとして記述し、検証レポートを生成できます。
- スター
- 11,886
- フォーク
- 1,877
- 未解決の Issue
- 57
- 最終コミット
- 4 日前
これは何?
Great ExpectationsのオープンソースコアであるGX Coreは、データ品質を検証するPythonライブラリです。中心となる概念はExpectationで、たとえば列の値が一定範囲内にあることや、テーブルのキーにnullが含まれないことなどをデータセットに対して宣言的に表明します。チームはこれらの表明をデータのユニットテストとして使い、パイプライン内で実行することで、不正なデータが後続の利用者に届く前に検出できます。
検証結果からドキュメントを自動生成できるため、エンジニアリング以外の人も、何を検証し、何が合格・不合格だったかを確認できます。Expectationという共通の語彙を通じて、データ、アナリティクス、エンジニアリングの各チームが、適切なデータの状態について合意できるようにすることを目指しています。pipでインストールし、gx.get_context()でData Contextを作成して利用を開始できます。Python 3.10〜3.14に対応しています。
主な機能
- 01データセットのユニットテストとして機能する宣言的なExpectation
- 02検証結果のドキュメントを自動生成
- 03データ品質ルールを表現する、共通で読みやすい語彙
- 04pipでインストールでき、Data Contextを呼び出すだけで利用を開始
ユースケース
- データウェアハウスにロードする前に、ETLまたはELTパイプライン内のデータを検証する
- 機械学習の学習データパイプラインにデータ品質チェックを追加する
- エンジニアリング以外の関係者と、読みやすいデータ品質レポートを共有する
クイックスタート
- 1
Python仮想環境を作成して有効化します(GX推奨)
- 2
pipでGX Coreをインストールします
pip install great_expectations - 3
GXをインポートし、PythonでData Contextを作成します
import great_expectations as gx context = gx.get_context()
使う前に知っておきたいこと
- Python 3.10〜3.14が必要です。それより新しいPythonバージョンは実験的なサポートのみです。
トピック
よくある質問
- great_expectations とは?
- データ品質を検証するPythonライブラリ。データに対する宣言的なExpectationをユニットテストとして記述し、検証レポートを生成できます。 Great ExpectationsのオープンソースコアであるGX Coreは、データ品質を検証するPythonライブラリです。中心となる概念はExpectationで、たとえば列の値が一定範囲内にあることや、テーブルのキーにnullが含まれないことなどをデータセットに対して宣言的に表明します。チームはこれらの表明をデータのユニットテストとして使い、パイプライン内で実行することで、不正なデータが後続の利用者に届く前に検出できます。
- great_expectations は無料で使えますか?ライセンスは?
- great_expectations は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- great_expectations は今もメンテナンスされていますか?
- 活発にメンテナンス中。great_expectations の最終コミットは 2026年10月16日 です。
- great_expectations は何に使えますか?
- データウェアハウスにロードする前に、ETLまたはELTパイプライン内のデータを検証する 機械学習の学習データパイプラインにデータ品質チェックを追加する エンジニアリング以外の関係者と、読みやすいデータ品質レポートを共有する
- great_expectations のインストール方法は?
- Python仮想環境を作成して有効化します(GX推奨) pipでGX Coreをインストールします: pip install great_expectations GXをインポートし、PythonでData Contextを作成します: import great_expectations as gx context = gx.get_context()
- great_expectations はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/fivetran/great_expectations
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
金融などのデータソースを接続し、Python、Excel、AIエージェント、REST APIに提供するオープンソースのPythonデータプラットフォーム。
認証なしでYouTube、Twitch、Zoomの配信や動画などからチャットを取得するPythonツール兼CLI。
実ブラウザーを操作するAIエージェントを構築できるオープンソースのPythonライブラリ
既存ソフトウェア向けのエージェント対応CLIを生成し、完成済みCLIを導入できるCLI-Hubも備えたツールキット。