Chapitre 1 : Lois de mise à l'échelle et limites

Lois de mise à l'échelle de Kaplan (2020)

OpenAI a découvert des relations de type loi de puissance :

$$L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}$$

Où la perte diminue de manière prévisible avec la taille du modèle.

Mise à l'échelle de Chinchilla (2022)

Découverte optimale de calcul par DeepMind :

Sagesse précédente : Entraîner des modèles plus grands sur des données fixes
Chinchilla : Entraîner des modèles plus petits sur plus de données

Approche	Paramètres	Jetons	Calcul
GPT-3	175B	300B	Élevé
Chinchilla	70B	1.4T	Même
Résultat	Chinchilla gagne

Règle générale : ~20 jetons par paramètre

Débat sur les rendements décroissants

Atteignons-nous des limites ?

Arguments en faveur des limites :

• Saturation des benchmarks
• Capacités émergentes ralentissant
• Contraintes de disponibilité des données

Arguments contre :

• Nouvelles capacités encore émergentes
• Améliorations algorithmiques
• Avancées multimodales et de raisonnement

Améliorations de l'efficacité

Au-delà de la mise à l'échelle brute :

• Meilleures architectures (MoE)
• Entraînement amélioré (curriculum)
• Qualité des données > quantité
• Innovations algorithmiques

---

← AperçuChapitre 2 →