Módulo 4: Pipelines de Dados

🎯 Objetivos de Aprendizagem

• Projetar e implementar pipelines de ingestão de dados com Apache Airflow
• Construir sistemas de engenharia de features em escala com feature stores
• Implementar validação de qualidade de dados com Great Expectations

📚 Conteúdo do Módulo

Capítulo 1: Pipelines de Ingestão de Dados

ETL para ML, processamento em streaming vs batch, fundamentos do Apache Airflow.

Capítulo 2: Engenharia de Features em Escala

Feature stores (Feast, Tecton), computação de features, features online vs offline.

Capítulo 3: Qualidade e Validação de Dados

Great Expectations, contratos de dados, detecção de drift, validação de schema.

🚀 Vamos Começar!

Comece pelo Capítulo 1: Pipelines de Ingestão de Dados.