Aller au contenu principal

Module 5 : Infrastructure de Formation

🎯 Objectifs d'apprentissage​

  • Gérer efficacement les ressources GPU/TPU pour l'entraînement ML
  • Mettre en œuvre des stratégies d'entraînement distribué (parallélisme de données, parallélisme de modèle)
  • Utiliser des plateformes d'entraînement infonuagiques (AWS SageMaker, GCP Vertex AI, Azure ML)

📚 Contenu du module​

Chapitre 1 : Gestion des GPU/TPU​

Sélection du matériel, optimisation de la mémoire GPU, entraînement multi-GPU, gestion des coûts.

Chapitre 2 : Entraînement distribué​

Parallélisme de données, parallélisme de modèle, Horovod, PyTorch DDP, DeepSpeed.

Chapitre 3 : Entraînement infonuagique (AWS, GCP, Azure)​

SageMaker, Vertex AI, Azure ML, instances spot, stratégies d'optimisation des coûts.

🚀 Commençons !​

Commencez avec Chapitre 1 : Gestion des GPU/TPU.