Chapitre 2 : Architectures émergentes
Au-delà des Transformers ?
Le Transformer a dominé, mais des alternatives émergent.
Modèles d'État Spatial (SSM)
Modélisation de séquences en temps linéaire :
Transformers : attention O(n²)
SSM : récurrence O(n) avec entraînement parallélisable
Mamba
Modèle d'État Spatial Sélectif :
# Innovation clé de Mamba : sélection dépendante de l'entrée
def selective_scan(x, A, B, C, delta):
# delta (Δ) dépend de l'entrée
# Permet un comportement dynamique, sélectif "similaire à l'attention"
# Avec une complexité linéaire
pass
Avantages :
- Évolutivité linéaire avec la longueur de la séquence
- Compétitif avec les Transformers
- Meilleur pour les séquences très longues
RWKV
Combine l'efficacité des RNN avec la qualité des Transformers :
- Complexité linéaire
- Entraînement parallélisable
- Bonne performance
Comparaison
| Architecture | Complexité | Long Contexte | Qualité |
|---|---|---|---|
| Transformer | O(n²) | Limité* | Meilleur |
| Mamba | O(n) | Excellent | Presque le meilleur |
| RWKV | O(n) | Bon | Bon |
*Avec des optimisations comme Flash Attention, les Transformers restent compétitifs
Les Transformers seront-ils remplacés ?
Scénario probable : Architectures hybrides combinant :
- Attention pour les positions clés
- Couches linéaires pour l'efficacité
- Le meilleur des deux mondes