Quiz : Module 5 - Tokenisation et Embeddings

Question 1

Qu'est-ce que BPE (Byte Pair Encoding) ?

1. Un algorithme de tokenisation qui fusionne itérativement les paires de caractères fréquentes
2. Un type de réseau neuronal
3. Une méthode d'embedding
4. Un algorithme de compression pour les modèles

Question 2

Quel tokenizer est utilisé par BERT ?

1. BPE
2. WordPiece
3. SentencePiece
4. Unigram

Question 3

Comment SentencePiece traite-t-il le texte ?

1. Mots
2. Caractères
3. Octets bruts (indépendant de la langue)
4. Phrases

Question 4

Quelle était la fenêtre de contexte de GPT-3 ?

1. 2K tokens
2. 4K tokens
3. 8K tokens
4. 32K tokens

Question 5

Quelle est la fenêtre de contexte de Claude 3 ?

1. 32K tokens
2. 100K tokens
3. 200K tokens
4. 1M tokens

Question 6

Pourquoi utiliser le découpage avec chevauchement ?

1. Pour réduire le temps de traitement
2. Pour préserver le contexte aux limites des segments
3. Pour augmenter la précision
4. Pour réduire le nombre de tokens

Question 7

Que signifie RoPE ?

1. Rotary Position Embedding
2. Recursive Operator for Position Encoding
3. Random Orthogonal Position Encoding
4. Relative Order Position Embedding

Question 8

Que représentent les embeddings ?

1. IDs de tokens
2. Vecteurs denses capturant le sens sémantique
3. Probabilités
4. Pondérations d'attention

Question 9

Comment la similarité sémantique est-elle généralement mesurée ?

1. Distance euclidienne
2. Similarité cosinus
3. Distance de Manhattan
4. Distance de Hamming

Question 10

Quelle est une application clé des embeddings ?

1. Entraînement de modèles
2. Recherche sémantique et RAG
3. Tokenisation
4. Calcul d'attention

Question 11

Quelle est la taille de vocabulaire typique pour les LLMs ?

1. 1 000 tokens
2. 10 000 tokens
3. 30 000-50 000 tokens
4. 1 000 000 tokens

Question 12

Quel est l'avantage de la tokenisation par sous-mots ?

1. Gère les mots inconnus en les découpant en sous-mots connus
2. Traitement plus rapide
3. Taille de modèle plus petite
4. Meilleure grammaire

Question 13

Que signifie le préfixe ## dans WordPiece ?

1. Début de mot
2. Continuation d'un mot (pas le début)
3. Token spécial
4. Token inconnu

Question 14

Quel modèle a atteint un contexte de plus de 1M ?

1. GPT-4
2. Claude 3
3. Gemini 1.5
4. LLaMA 3

Question 15

Quelle est la dimension d'embedding pour GPT-3 ?

1. 768
2. 1024
3. 12288
4. 4096

Question 16-30

(Questions supplémentaires couvrant les cas limites de tokenisation, les applications d'embedding, la gestion des fenêtres de contexte et les implémentations pratiques)

Question 16

Que se passe-t-il lorsqu'un mot n'est pas dans le vocabulaire du tokenizer ?

1. Il est ignoré
2. Il est découpé en sous-mots ou caractères connus
3. Une erreur est levée
4. Il est remplacé par [UNK]

Question 17

Quel est l'effet de la taille du vocabulaire sur le modèle ?

1. Vocabulaire plus grand = plus de paramètres dans la couche d'embedding
2. Aucun effet
3. N'affecte que la vitesse d'entraînement
4. N'affecte que la vitesse d'inférence

Question 18

Quelle bibliothèque est populaire pour les embeddings de phrases ?

1. sentence-transformers
2. spaCy
3. NLTK
4. gensim

Question 19

Quel est le but des tokens spéciaux comme [CLS] et [SEP] ?

1. Marquer les limites de phrases et permettre des tâches spéciales
2. Réduire la taille du vocabulaire
3. Accélérer la tokenisation
4. Améliorer la précision

Question 20

Qu'est-ce que la fusion de tokens dans les tokenizers ?

1. Combiner des paires de tokens fréquents en tokens uniques
2. Supprimer les tokens en double
3. Combiner les embeddings
4. Réduire le vocabulaire

Question 21

Pourquoi la tokenisation au niveau des octets est-elle bénéfique ?

1. Peut représenter n'importe quelle entrée sans tokens UNK
2. Traitement plus rapide
3. Vocabulaire plus petit
4. Meilleure précision

Question 22

Quelle est la relation entre tokens et mots ?

1. 1 token = 1 mot toujours
2. 1 mot peut être plusieurs tokens ; 1 token peut être une partie de mot
3. 1 token = 1 caractère
4. 1 token = 1 phrase

Question 23

Environ combien de tokens équivalent à un mot en anglais ?

1. 0,5 token
2. 1 token
3. ~1,3-1,5 tokens
4. 3 tokens

Question 24

D'où est appris l'embedding d'un token ?

1. Étiquetage manuel
2. Données d'entraînement pendant l'entraînement du modèle
3. Définitions de dictionnaire
4. Retour d'utilisateur

Question 25

Que se passe-t-il à la limite de la fenêtre de contexte ?

1. Le modèle ne peut pas traiter de tokens supplémentaires ; troncature ou découpage nécessaire
2. Le traitement ralentit
3. Le modèle résume automatiquement
4. La qualité s'améliore

Question 26

Quel est le problème de complexité de l'attention avec de longs contextes ?

1. O(n²) mémoire et calcul pour une longueur de séquence n
2. O(n) utilisation de la mémoire
3. Aucun problème de complexité
4. N'affecte que l'entraînement

Question 27

À quoi sert ALiBi ?

1. Encodage de position à travers des biais d'attention
2. Tokenisation
3. Compression d'embedding
4. Construction de vocabulaire

Question 28

À quoi sont ajoutés les embeddings de position ?

1. Embeddings de tokens
2. Pondérations d'attention
3. Logits de sortie
4. Fonction de perte

Question 29

Qu'est-ce que la quantification d'embedding ?

1. Réduire la précision des valeurs d'embedding pour économiser de la mémoire
2. Compter les embeddings
3. Mesurer la qualité des embeddings
4. Normaliser les embeddings

Question 30

Quel est l'avantage d'utiliser le même tokenizer pour toutes les variantes de LLaMA ?

1. Mapping cohérent token-texte et changement de modèle plus facile
2. Tokenisation plus rapide
3. Meilleure précision
4. Vocabulaire plus petit

---

Score de passage : 24/30 (80%)

← Chapitre 3Module 6 →