Repolode
fivetran

fivetran/great_expectations

Biblioteca Python de qualidade de dados que permite às equipes escrever Expectations declarativas como testes unitários para os dados e gerar relatórios de validação.

Estrelas
11,886
Forks
1,877
Issues abertas
57
Último commit
há 4 dias

O que é?

O GX Core, núcleo open source do Great Expectations, é uma biblioteca Python para validar a qualidade dos dados. Seu conceito central é a Expectation: uma afirmação declarativa sobre um conjunto de dados, como os valores de uma coluna estarem dentro de um intervalo ou uma tabela não ter chaves nulas. As equipes usam essas afirmações como testes unitários para os dados e as executam em pipelines para detectar dados inválidos antes que cheguem aos consumidores downstream.

Os resultados da validação podem ser transformados em documentação gerada automaticamente, para que pessoas de fora da engenharia possam consultar o que foi verificado e o que passou ou falhou. O vocabulário compartilhado de Expectations busca ajudar as equipes de dados, analytics e engenharia a chegar a um acordo sobre o que é considerado dado de qualidade. A biblioteca é instalada com pip e iniciada criando um Data Context com gx.get_context(). Ela é compatível com Python 3.10 a 3.14.

Recursos principais

  • 01Expectations declarativas que funcionam como testes unitários para conjuntos de dados
  • 02Documentação gerada automaticamente para os resultados da validação
  • 03Vocabulário compartilhado e legível para expressar regras de qualidade de dados
  • 04Instalação com pip e inicialização com uma única chamada de Data Context

Casos de uso

  • Validar dados em pipelines ETL ou ELT antes de carregá-los em um data warehouse
  • Adicionar verificações de qualidade de dados a pipelines de dados de treinamento de machine learning
  • Compartilhar relatórios legíveis de qualidade de dados com stakeholders que não são da engenharia

Início rápido

  1. 1

    Crie e ative um ambiente virtual do Python (recomendado pelo GX)

  2. 2

    Instale o GX Core com pip

    pip install great_expectations
  3. 3

    Importe o GX e crie um Data Context no Python

    import great_expectations as gx context = gx.get_context()

Antes de usar

  • Requer Python 3.10 a 3.14; versões mais recentes do Python têm apenas suporte experimental.

Tópicos

Perguntas frequentes

O que é great_expectations?
Biblioteca Python de qualidade de dados que permite às equipes escrever Expectations declarativas como testes unitários para os dados e gerar relatórios de validação. O GX Core, núcleo open source do Great Expectations, é uma biblioteca Python para validar a qualidade dos dados. Seu conceito central é a Expectation: uma afirmação declarativa sobre um conjunto de dados, como os valores de uma coluna estarem dentro de um intervalo ou uma tabela não ter chaves nulas. As equipes usam essas afirmações como testes unitários para os dados e as executam em pipelines para detectar dados inválidos antes que cheguem aos consumidores downstream.
great_expectations é gratuito? Qual é a licença?
great_expectations é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
great_expectations ainda é mantido?
Manutenção ativa. O último commit de great_expectations foi em 16 de out. de 2026.
Para que posso usar great_expectations?
Validar dados em pipelines ETL ou ELT antes de carregá-los em um data warehouse Adicionar verificações de qualidade de dados a pipelines de dados de treinamento de machine learning Compartilhar relatórios legíveis de qualidade de dados com stakeholders que não são da engenharia
Como instalar great_expectations?
Crie e ative um ambiente virtual do Python (recomendado pelo GX) Instale o GX Core com pip: pip install great_expectations Importe o GX e crie um Data Context no Python: import great_expectations as gx context = gx.get_context()
Onde consigo great_expectations?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/fivetran/great_expectations

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados