Repolode
fivetran

fivetran/great_expectations

Python 数据质量库,以 Expectation 作为数据的单元测试并生成校验报告。

Star
11,886
Fork
1,877
未关闭 Issue
57
最近提交
4天前

这是什么?

GX Core 是 Great Expectations 的开源核心,一个用于校验数据质量的 Python 库。其核心概念是 Expectation,即对数据集的声明式断言,例如某列的值落在指定范围内,或某张表的主键不含空值。团队可以把这些断言当作数据的单元测试,在数据管道中运行,在坏数据流向下游之前将其拦截。

校验结果可以自动生成文档,让非工程人员也能看到检查了哪些内容、哪些通过、哪些失败。Expectation 提供统一的表达方式,有助于数据、分析和工程团队就“好数据应是什么样”达成共识。通过 pip 安装,并使用 gx.get_context() 创建 Data Context 即可开始使用,支持 Python 3.10 至 3.14。

核心功能

  • 01以声明式 Expectation 表达数据规则,可作为数据单元测试
  • 02校验结果可自动生成文档
  • 03提供统一易读的语言描述数据质量规则
  • 04通过 pip 安装,调用一次 Data Context 即可启动

适用场景

  • 在 ETL 或 ELT 管道中将数据载入数据仓库前进行校验
  • 为机器学习训练数据管道添加数据质量检查
  • 向非技术干系人分享易读的数据质量报告

快速上手

  1. 1

    创建并激活 Python 虚拟环境(GX 推荐)

  2. 2

    使用 pip 安装 GX Core

    pip install great_expectations
  3. 3

    在 Python 中导入 GX 并创建 Data Context

    import great_expectations as gx context = gx.get_context()

使用前须知

  • 需要 Python 3.10 至 3.14;更新的 Python 版本仅提供实验性支持。

标签

常见问题

great_expectations 是什么?
Python 数据质量库,以 Expectation 作为数据的单元测试并生成校验报告。 GX Core 是 Great Expectations 的开源核心,一个用于校验数据质量的 Python 库。其核心概念是 Expectation,即对数据集的声明式断言,例如某列的值落在指定范围内,或某张表的主键不含空值。团队可以把这些断言当作数据的单元测试,在数据管道中运行,在坏数据流向下游之前将其拦截。
great_expectations 可以免费使用吗?用的什么许可证?
great_expectations 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
great_expectations 还在维护吗?
活跃维护中。great_expectations 最近一次提交是在 2026年10月16日。
great_expectations 适合用来做什么?
在 ETL 或 ELT 管道中将数据载入数据仓库前进行校验 为机器学习训练数据管道添加数据质量检查 向非技术干系人分享易读的数据质量报告
great_expectations 怎么安装和运行?
创建并激活 Python 虚拟环境(GX 推荐) 使用 pip 安装 GX Core: pip install great_expectations 在 Python 中导入 GX 并创建 Data Context: import great_expectations as gx context = gx.get_context()
在哪里获取 great_expectations?
源代码和安装说明在 GitHub 上:https://github.com/fivetran/great_expectations

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目