إنتقل إلى المحتوى الرئيسي

الفصل 1: خطوط أنابيب استيعاب البيانات

مقدمة​

استيعاب البيانات هو أساس أي نظام تعلم آلي. يغطي هذا الفصل بناء خطوط أنابيب بيانات موثوقة وقابلة للتوسع باستخدام أدوات التنسيق الحديثة.

Apache Airflow لخطوط أنابيب التعلم الآلي​

هيكل DAG الأساسي​

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'ml-team',
    'depends_on_past': False,
    'email_on_failure': True,
    'email': ['ml-alerts@company.com'],
    'retries': 3,
    'retry_delay': timedelta(minutes=5),
}

with DAG(
    'ml_data_pipeline',
    default_args=default_args,
    description='Daily ML data ingestion pipeline',
    schedule_interval='0 6 * * *',  # Daily at 6 AM
    start_date=datetime(2024, 1, 1),
    catchup=False,
    tags=['ml', 'data', 'production'],
) as dag:
    
    extract = PythonOperator(
        task_id='extract_data',
        python_callable=extract_from_source,
    )
    
    transform = PythonOperator(
        task_id='transform_data',
        python_callable=transform_data,
    )
    
    validate = PythonOperator(
        task_id='validate_data',
        python_callable=run_data_validation,
    )
    
    load = PythonOperator(
        task_id='load_to_feature_store',
        python_callable=load_features,
    )
    
    extract >> transform >> validate >> load

المعالجة الدفقية مقابل المعالجة الدفعية​

الجانبالمعالجة الدفعيةالمعالجة الدفقية
الكموندقائق إلى ساعاتميلي ثانية إلى ثواني
حالة الاستخدامبيانات التدريب، التقاريرالميزات في الوقت الحقيقي
الأدواتSpark, AirflowKafka, Flink
التعقيدأقلأعلى

النقاط الرئيسية​

ملخص
  1. استخدام أدوات التنسيق مثل Airflow لخطوط الأنابيب المعقدة
  2. اختيار الدفعة مقابل الدفق بناءً على متطلبات الكمون
  3. تنفيذ التكرار لإعادة التشغيل الموثوقة
  4. مراقبة صحة خط الأنابيب باستخدام التنبيهات ولوحات المعلومات

التالي: الفصل 2: هندسة الميزات على نطاق واسع