Pular para o conteúdo principal

Capítulo 3: Qualidade e Validação de Dados

Great Expectations​

Great Expectations é uma biblioteca Python para validação, documentação e análise de dados.

Configuração e Uso Básico​

import great_expectations as gx
from great_expectations.core.batch import BatchRequest

# Create context
context = gx.get_context()

# Create expectation suite
suite = context.create_expectation_suite("customer_data_suite")

# Get validator
validator = context.get_validator(
    batch_request=BatchRequest(
        datasource_name="my_datasource",
        data_connector_name="default",
        data_asset_name="customers"
    ),
    expectation_suite_name="customer_data_suite"
)

# Add expectations
validator.expect_column_values_to_not_be_null("customer_id")
validator.expect_column_values_to_be_between("age", min_value=18, max_value=120)
validator.expect_column_values_to_be_unique("email")
validator.expect_column_values_to_match_regex("phone", r"^\+?[0-9]{10,15}$")

# Run validation
results = validator.validate()
print(f"Success: {results.success}")

Contratos de Dados​

# data_contract.yaml
contract:
  name: customer_features
  version: "1.0.0"
  owner: data-engineering@company.com
  
  schema:
    customer_id:
      type: string
      nullable: false
      unique: true
    age:
      type: integer
      min: 18
      max: 120
    email:
      type: string
      format: email
      nullable: false
      
  quality:
    completeness: 0.99
    freshness: "1 hour"
    
  sla:
    availability: "99.9%"
    update_frequency: "hourly"

Principais Aprendizados​

Summary
  1. Valide os dados em todas as etapas do pipeline
  2. Utilize contratos de dados entre equipes
  3. Monitore continuamente o drift
  4. Falhe rapidamente em caso de problemas de qualidade

Próximo: Quiz do Módulo 4