Aller au contenu principal

Chapitre 3 : Qualité et Validation des Données

Great Expectations​

Great Expectations est une bibliothèque Python pour valider, documenter et profiler les données.

Configuration et Utilisation de Base​

import great_expectations as gx
from great_expectations.core.batch import BatchRequest

# Créer le contexte
context = gx.get_context()

# Créer une suite d'attentes
suite = context.create_expectation_suite("customer_data_suite")

# Obtenir le validateur
validator = context.get_validator(
    batch_request=BatchRequest(
        datasource_name="my_datasource",
        data_connector_name="default",
        data_asset_name="customers"
    ),
    expectation_suite_name="customer_data_suite"
)

# Ajouter des attentes
validator.expect_column_values_to_not_be_null("customer_id")
validator.expect_column_values_to_be_between("age", min_value=18, max_value=120)
validator.expect_column_values_to_be_unique("email")
validator.expect_column_values_to_match_regex("phone", r"^\+?[0-9]{10,15}$")

# Exécuter la validation
results = validator.validate()
print(f"Success: {results.success}")

Contrats de Données​

# data_contract.yaml
contract:
  name: customer_features
  version: "1.0.0"
  owner: data-engineering@company.com
  
  schema:
    customer_id:
      type: string
      nullable: false
      unique: true
    age:
      type: integer
      min: 18
      max: 120
    email:
      type: string
      format: email
      nullable: false
      
  quality:
    completeness: 0.99
    freshness: "1 hour"
    
  sla:
    availability: "99.9%"
    update_frequency: "hourly"

Points Clés​

Résumé
  1. Validez les données à chaque étape du pipeline
  2. Utilisez des contrats de données entre les équipes
  3. Surveillez en continu les dérives
  4. Échouez rapidement sur les problèmes de qualité

Suivant : Quiz Module 4