Repolode
fivetran

fivetran/great_expectations

Python-библиотека для контроля качества данных: команды описывают декларативные Expectations как unit-тесты и формируют отчёты о проверках.

Звёзды
11,886
Форки
1,877
Открытые issues
57
Последний коммит
4 дня назад

Что это?

GX Core — открытая базовая версия Great Expectations, Python-библиотека для проверки качества данных. Её центральная концепция — Expectation: декларативное утверждение о наборе данных, например что значения в столбце попадают в заданный диапазон или что в таблице нет ключей со значениями null. Команды используют такие утверждения как unit-тесты для данных и запускают их в пайплайнах, чтобы выявлять проблемы до того, как данные попадут к downstream-потребителям.

Результаты проверок можно преобразовать в автоматически генерируемую документацию, чтобы люди за пределами разработки могли узнать, что именно проверялось и какие проверки прошли или не прошли. Общий словарь Expectations призван помочь командам по работе с данными, аналитике и разработке договориться о том, что считать качественными данными. Библиотека устанавливается с помощью pip, а для начала работы нужно создать Data Context вызовом gx.get_context(). Поддерживаются версии Python с 3.10 по 3.14.

Ключевые возможности

  • 01Декларативные Expectations, которые работают как unit-тесты для наборов данных
  • 02Автоматически генерируемая документация с результатами проверок
  • 03Общий понятный словарь для описания правил качества данных
  • 04Установка через pip и запуск одним вызовом для создания Data Context

Сценарии использования

  • Проверка данных в ETL- или ELT-пайплайнах перед загрузкой в хранилище
  • Добавление проверок качества данных в пайплайны подготовки обучающих данных для машинного обучения
  • Передача понятных отчётов о качестве данных заинтересованным сторонам вне команды разработки

Быстрый старт

  1. 1

    Создайте и активируйте виртуальное окружение Python (рекомендуется GX)

  2. 2

    Установите GX Core с помощью pip

    pip install great_expectations
  3. 3

    Импортируйте GX и создайте Data Context в Python

    import great_expectations as gx context = gx.get_context()

Что важно знать

  • Требуется Python версии 3.10–3.14; более новые версии Python поддерживаются только в экспериментальном режиме.

Темы

Частые вопросы

Что такое great_expectations?
Python-библиотека для контроля качества данных: команды описывают декларативные Expectations как unit-тесты и формируют отчёты о проверках. GX Core — открытая базовая версия Great Expectations, Python-библиотека для проверки качества данных. Её центральная концепция — Expectation: декларативное утверждение о наборе данных, например что значения в столбце попадают в заданный диапазон или что в таблице нет ключей со значениями null. Команды используют такие утверждения как unit-тесты для данных и запускают их в пайплайнах, чтобы выявлять проблемы до того, как данные попадут к downstream-потребителям.
great_expectations можно использовать бесплатно? Какая у него лицензия?
great_expectations распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
great_expectations всё ещё поддерживается?
Активно поддерживается. Последний коммит в great_expectations — 16 окт. 2026 г..
Для чего можно использовать great_expectations?
Проверка данных в ETL- или ELT-пайплайнах перед загрузкой в хранилище Добавление проверок качества данных в пайплайны подготовки обучающих данных для машинного обучения Передача понятных отчётов о качестве данных заинтересованным сторонам вне команды разработки
Как установить great_expectations?
Создайте и активируйте виртуальное окружение Python (рекомендуется GX) Установите GX Core с помощью pip: pip install great_expectations Импортируйте GX и создайте Data Context в Python: import great_expectations as gx context = gx.get_context()
Где скачать great_expectations?
Исходный код и инструкции по установке — на GitHub: https://github.com/fivetran/great_expectations

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты