Chapitre 3 : Alertes et Réponse aux Incidents

Principes de Conception des Alertes

1. Actionnable : Chaque alerte doit avoir une réponse claire
2. Opportune : Alerter avant que les utilisateurs ne remarquent les problèmes
3. Informative : Inclure le contexte pour le diagnostic
4. Priorisée : Critique vs avertissement vs informatif

Exemples de Règles d'Alerte

# prometheus-alerts.yml
groups:
  - name: ml-model-alerts
    rules:
      - alert: ModelLatencyHigh
        expr: histogram_quantile(0.99, rate(model_prediction_latency_seconds_bucket[5m])) > 0.1
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "La latence du modèle est élevée"
          description: "La latence P99 est de {{ $value }}s"
          runbook_url: "https://wiki/runbooks/model-latency"
          
      - alert: ModelAccuracyDegraded
        expr: model_accuracy_current < 0.8
        for: 15m
        labels:
          severity: critical
        annotations:
          summary: "La précision du modèle est passée sous le seuil"
          description: "Précision actuelle : {{ $value }}"

Modèle de Runbook

# Runbook : Précision du Modèle Dégradée

## Résumé
La précision des prédictions du modèle est passée sous le seuil acceptable.

## Sévérité
Critique

## Impact
Prédictions incorrectes affectant l'expérience utilisateur et les revenus.

## Étapes de Diagnostic
1. Vérifier les métriques récentes de dérive des données
2. Examiner les changements de distribution des prédictions
3. Vérifier les problèmes de données en amont

## Étapes de Résolution
1. Si dérive des données détectée : Déclencher le pipeline de réentraînement
2. Si problème de qualité des données : Alerter l'ingénierie des données
3. Si bug : Revenir à la version précédente du modèle

## Escalade
- L1 : Ingénieur de garde ML
- L2 : Chef d'équipe de la plateforme ML
- L3 : Responsable de l'ingénierie ML

---

Suivant : Quiz Module 9