Quiz : Module 2 - Architecture Transformer

Testez votre compréhension de l'architecture Transformer. Ce quiz contient 30 questions couvrant les mécanismes d'attention, l'attention multi-têtes et l'encodage positionnel.

---

Chapitre 1 : Mécanisme d'attention

Question 1

Dans la formule d'attention, que représente la requête (Q) ?

1. Ce que nous recherchons ou cherchons
2. Le contenu à récupérer
3. L'index dans la mémoire
4. La sortie de l'attention

Question 2

Pourquoi le score d'attention est-il mis à l'échelle par √d_k ?

1. Pour rendre le calcul plus rapide
2. Pour empêcher les produits scalaires de devenir trop grands, ce qui pousserait le softmax dans des régions à faible gradient
3. Pour normaliser la sortie à une longueur unitaire
4. Pour réduire l'utilisation de la mémoire

Question 3

Quelle est la forme de la matrice des poids d'attention pour une séquence de longueur n ?

1. n × d_model
2. d_k × d_v
3. n × n
4. 1 × n

Question 4

Dans l'attention causale (masquée), que prévient le masque ?

1. Regarder la même position
2. Regarder les positions futures
3. Regarder les positions passées
4. Regarder uniquement les tokens de remplissage

Question 5

Quelle est la complexité temporelle de l'attention standard par rapport à la longueur de la séquence n ?

1. O(n)
2. O(n log n)
3. O(n²)
4. O(n³)

Question 6

Quelle valeur est utilisée pour masquer les positions dans l'attention ?

1. 0
2. 1
3. -infini (avant softmax)
4. Une valeur aléatoire

Question 7

Que contient la matrice de Valeurs (V) ?

1. Les critères de recherche
2. Les scores de pertinence
3. Le contenu réel à récupérer basé sur les poids d'attention
4. L'information de position

Question 8

Que garantit le softmax concernant les poids d'attention ?

1. Ils s'additionnent à 1 pour chaque position de requête
2. Ils sont tous égaux
3. Ils sont binaires (0 ou 1)
4. Ils sont toujours des entiers positifs

Question 9

Flash Attention aborde principalement quel problème ?

1. Précision de l'attention
2. Efficacité mémoire de l'attention
3. Vitesse d'entraînement uniquement
4. Taille du modèle

Question 10

Comment est calculée la sortie finale de l'attention ?

1. Somme de Q, K, et V
2. Produit de Q et K
3. Somme pondérée de V utilisant les poids d'attention
4. Maximum des poids d'attention

---

Chapitre 2 : Auto-attention et Attention Multi-têtes

Question 11

Qu'est-ce qui distingue l'auto-attention de l'attention croisée ?

1. Dans l'auto-attention, Q, K, et V proviennent tous de la même entrée
2. L'auto-attention utilise plus de paramètres
3. L'auto-attention est plus rapide
4. L'auto-attention ne fonctionne qu'avec du texte

Question 12

Si d_model = 512 et nous avons 8 têtes d'attention, quel est d_k par tête ?

1. 512
2. 256
3. 128
4. 64

Question 13

Quel est le principal avantage de l'attention multi-têtes ?

1. Elle réduit le temps de calcul
2. Elle permet au modèle de prêter attention à différents sous-espaces de représentation
3. Elle utilise moins de paramètres
4. Elle élimine le besoin d'encodage positionnel

Question 14

Dans l'attention multi-têtes, comment les sorties des différentes têtes sont-elles combinées ?

1. Moyennées
2. Additionnées
3. Concaténées puis projetées
4. Max poolées

Question 15

Où l'attention croisée est-elle typiquement utilisée ?

1. Seulement dans les encodeurs
2. Dans les architectures encodeur-décodeur, où le décodeur prête attention à la sortie de l'encodeur
3. Seulement dans les modèles GPT
4. Jamais dans les Transformers

Question 16

Pourquoi les têtes d'attention peuvent-elles être calculées en parallèle ?

1. Le calcul de chaque tête est indépendant des autres têtes
2. Ils partagent les poids
3. Ils traitent différentes séquences
4. Ils utilisent différentes fonctions d'activation

Question 17

Que peuvent apprendre différentes têtes d'attention ?

1. Les mêmes motifs pour la redondance
2. Différents motifs linguistiques (syntaxe, sémantique, etc.)
3. Seulement l'information positionnelle
4. Bruit aléatoire

Question 18

Quelle est la dimension de sortie de l'attention multi-têtes avec d_model = 512 ?

1. Dépend du nombre de têtes
2. 64 par position
3. 512 par position (même que d_model)
4. 1024 par position

Question 19

Pourquoi l'auto-attention est-elle permutation équivariante ?

1. Parce qu'elle utilise des RNNs en interne
2. Parce que les poids d'attention dépendent uniquement des similarités par paires, pas des positions
3. À cause de la fonction softmax
4. Ce n'est pas permutation équivariante

Question 20

Quel est le rôle de la projection de sortie (W_O) dans l'attention multi-têtes ?

1. Pour calculer les poids d'attention
2. Pour projeter les sorties concaténées des têtes vers d_model
3. Pour ajouter des informations de position
4. Pour calculer la perte

---

Chapitre 3 : Encodage Positionnel et Embeddings

Question 21

Pourquoi les Transformers ont-ils besoin d'un encodage positionnel ?

1. Pour réduire le calcul
2. Parce que l'auto-attention seule est permutation invariante et perd l'information de position
3. Pour augmenter la capacité du modèle
4. Pour gérer des séquences de longueur variable

Question 22

Dans l'encodage positionnel sinusoïdal, qu'est-ce qui varie selon les différentes dimensions ?

1. L'amplitude
2. La fréquence d'oscillation
3. Le décalage de phase
4. Rien - toutes les dimensions sont identiques

Question 23

Quelle est la plage de valeurs pour l'encodage positionnel sinusoïdal ?

1. 0 à 1
2. 0 à l'infini
3. -1 à 1
4. Non bornée

Question 24

Comment les embeddings de tokens sont-ils combinés avec les encodages positionnels ?

1. Concaténés
2. Additionnés ensemble
3. Multipliés
4. Max poolés

Question 25

Quel est un avantage des embeddings positionnels appris par rapport aux sinusoïdaux ?

1. Meilleure extrapolation à des séquences plus longues
2. Aucun paramètre requis
3. Peut s'adapter à des motifs spécifiques aux données d'entraînement
4. Fonctionne avec n'importe quelle longueur de séquence

Question 26

Qu'est-ce que RoPE (Rotary Position Embedding) ?

1. Un type de mécanisme d'attention
2. Une méthode qui encode la position en faisant tourner les embeddings
3. Un objectif d'entraînement
4. Un type de normalisation

Question 27

Quels modèles utilisent couramment RoPE ?

1. Transformer original et BERT
2. LLaMA, Mistral, et de nombreux LLM modernes
3. Seulement GPT-2
4. Seulement les modèles encodeurs

Question 28

Pourquoi l'embedding de token est-il mis à l'échelle par √d_model dans le Transformer original ?

1. Pour réduire l'utilisation de la mémoire
2. Pour équilibrer la magnitude des embeddings avec les encodages positionnels
3. Pour normaliser les gradients
4. Pour augmenter la capacité du modèle

Question 29

Quelle est l'approche d'ALiBi pour l'encodage positionnel ?

1. Ajouter des vecteurs de position aux embeddings
2. Faire tourner les vecteurs de requête et de clé
3. Ajouter un biais basé sur la distance directement aux scores d'attention
4. Apprendre des embeddings de position séparés

Question 30

Quelle est une limitation des embeddings positionnels appris ?

1. Ils nécessitent trop de calcul
2. Ils ont une longueur de séquence maximale fixe
3. Ils ne peuvent pas capturer les positions relatives
4. Ils ne fonctionnent pas avec l'attention multi-têtes

---

Quiz Terminé !

Félicitations pour avoir complété le Quiz du Module 2 ! Révisez les questions que vous avez trouvées difficiles et revisitez les sections de chapitre pertinentes.

Score de Réussite : 24/30 (80%)

---

← Chapitre 3 : Encodage Positionnel

Module 3 : Entraînement des LLMs →