Quiz : Module 1 - Introduction aux LLM

Testez votre compréhension des fondamentaux des Modèles de Langage de Grande Taille. Ce quiz contient 30 questions couvrant les trois chapitres.

---

Chapitre 1 : Qu'est-ce qu'un Modèle de Langage de Grande Taille ?

Question 1

Qu'est-ce qui distingue principalement un Modèle de Langage "Large" des modèles de langage antérieurs ?

1. Le langage de programmation utilisé pour l'implémenter
2. Le nombre de paramètres (milliards) et l'échelle des données d'entraînement
3. Le type de tâches qu'il peut accomplir
4. L'entreprise qui l'a créé

Question 2

Quelles sont les "capacités émergentes" dans le contexte des LLM ?

1. Capacités programmées par les développeurs
2. Capacités qui existent dans tous les réseaux neuronaux
3. Capacités qui apparaissent uniquement lorsque les modèles atteignent une certaine échelle
4. Capacités qui émergent après un ajustement fin

Question 3

Comment le nombre estimé de paramètres de GPT-4 se compare-t-il à celui de GPT-2 ?

1. Environ 10 fois plus grand
2. Environ 100 fois plus grand
3. Environ 1000 fois plus grand
4. Environ de la même taille

Question 4

Qu'est-ce que l'apprentissage "in-context" ?

1. Entraîner le modèle sur de nouvelles données
2. Apprendre à partir d'exemples fournis dans le prompt sans mise à jour des poids
3. Apprendre à partir des réponses précédentes du modèle
4. Apprendre à partir des retours des utilisateurs

Question 5

Quel est l'objectif principal lors de la génération de texte par un LLM ?

1. Minimiser le nombre de tokens générés
2. Maximiser la cohérence sémantique
3. Prédire le token suivant donné le contexte
4. Correspondre exactement aux données d'entraînement

Question 6

Laquelle de ces caractéristiques n'est PAS typiquement associée aux LLM ?

1. Des milliards de paramètres
2. Entraînement sur des téraoctets de texte
3. Apprentissage en temps réel à partir des interactions utilisateur
4. Longues fenêtres de contexte

Question 7

Que suggère l'hypothèse de mise à l'échelle ?

1. Les modèles plus petits sont toujours plus efficaces
2. Les modèles plus grands avec plus de données conduisent à des améliorations prévisibles des capacités
3. Les modèles doivent être réduits pour le déploiement
4. La mise à l'échelle conduit toujours à des rendements décroissants

Question 8

Qu'est-ce que la tokenisation dans le contexte des LLM ?

1. Chiffrer les poids du modèle
2. Convertir le texte en représentations numériques que le modèle peut traiter
3. Créer des jetons d'authentification pour l'accès à l'API
4. Diviser le modèle en parties plus petites

Question 9

Dans la génération autorégressive, comment les tokens sont-ils produits ?

1. Tous les tokens sont générés simultanément
2. Un token à la fois, chacun conditionné par les tokens précédents
3. Des tokens aléatoires sont générés puis triés
4. Les tokens sont copiés à partir des données d'entraînement

Question 10

Qu'est-ce qu'un embedding dans les modèles de langage neuronaux ?

1. Le fichier de configuration du modèle
2. Le texte d'entrée avant traitement
3. Une représentation vectorielle dense d'un token
4. La sortie finale du modèle

---

Chapitre 2 : Historique - Des RNN aux Transformers

Question 11

Quelle était la principale limitation des modèles de langage statistiques n-gram ?

1. Ils étaient trop coûteux en calcul
2. La rareté des données pour les contextes plus longs et aucune compréhension sémantique
3. Ils nécessitaient trop de données d'entraînement
4. Ils ne pouvaient fonctionner qu'avec du texte en anglais

Question 12

Quel problème les réseaux LSTM ont-ils résolu que les RNN classiques avaient ?

1. Vitesse d'inférence lente
2. Gradients qui disparaissent sur de longues séquences
3. Taille de vocabulaire limitée
4. Incapacité à traiter le texte

Question 13

Quel était le titre de l'article qui a introduit l'architecture Transformer ?

1. "Deep Learning"
2. "BERT: Pre-training of Deep Bidirectional Transformers"
3. "Attention Is All You Need"
4. "Language Models are Few-Shot Learners"

Question 14

En quelle année l'article sur le Transformer a-t-il été publié ?

1. 2015
2. 2016
3. 2017
4. 2018

Question 15

Quelle grande limitation des RNN les Transformers ont-ils résolue ?

1. Utilisation de la mémoire
2. Traitement séquentiel qui empêchait la parallélisation
3. Vocabulaire limité
4. Besoin de données étiquetées

Question 16

Qu'est-ce qui était innovant dans le mécanisme d'attention introduit par Bahdanau et al. ?

1. Il a supprimé le besoin de réseaux neuronaux
2. Il a permis au modèle d'apprendre quelles parties de l'entrée sont pertinentes pour chaque sortie
3. Il a rendu les modèles plus petits
4. Il a permis l'apprentissage en temps réel

Question 17

Quel modèle a introduit le paradigme pré-entraînement + ajustement fin aux transformers ?

1. GPT-1
2. BERT
3. GPT-3
4. T5

Question 18

Comment BERT diffère-t-il de GPT architecturalement ?

1. BERT est plus grand
2. BERT utilise uniquement l'encodeur (bidirectionnel) tandis que GPT utilise uniquement le décodeur (unidirectionnel)
3. BERT n'utilise pas l'attention
4. Il n'y a pas de différence

Question 19

Environ combien de paramètres GPT-3 avait-il ?

1. 1,5 milliard
2. 17,5 milliards
3. 175 milliards
4. 1,75 trillion

Question 20

Quelle a été une démonstration clé des capacités de GPT-3 ?

1. Correction grammaticale parfaite
2. Apprentissage few-shot et zero-shot sur des tâches diverses
3. Traduction en temps réel
4. Génération d'images

---

Chapitre 3 : Le paysage des LLM aujourd'hui

Question 21

Quelle entreprise a développé Claude ?

1. OpenAI
2. Google
3. Anthropic
4. Meta

Question 22

Quelle est l'approche distinctive d'Anthropic pour l'alignement de l'IA ?

1. Apprentissage par renforcement à partir de retours humains
2. IA constitutionnelle
3. Équipe rouge
4. Prompting en chaîne de pensée

Question 23

Quelle entreprise a publié la série de modèles open-weight Llama ?

1. Google
2. Anthropic
3. OpenAI
4. Meta

Question 24

Quel est l'avantage principal des modèles open-weight comme Llama ?

1. Ils sont toujours plus performants
2. Ils sont plus faciles à utiliser
3. Contrôle total, déploiement local, et ajustement fin personnalisé
4. Ils ont une meilleure documentation

Question 25

Quelle plateforme sert de dépôt central pour les modèles open-source ?

1. GitHub
2. Hugging Face Hub
3. Kaggle
4. Model Zoo

Question 26

Qu'est-ce qui distingue le modèle Mixtral de Mistral ?

1. C'est le plus grand modèle jamais créé
2. Il utilise l'architecture Mixture of Experts (MoE)
3. Il est multimodal
4. Il est entraîné uniquement sur du code

Question 27

Quelle longueur de fenêtre de contexte Claude 3 prend-il en charge ?

1. 4 000 tokens
2. 32 000 tokens
3. 100 000 tokens
4. 200 000 tokens

Question 28

Laquelle de ces considérations n'est PAS majeure lors du choix entre des modèles ouverts et fermés ?

1. Exigences en matière de confidentialité des données
2. Besoins en ajustement fin personnalisé
3. La couleur du logo de l'entreprise
4. Exigences de latence

Question 29

Quelle tendance a été observée dans la tarification des API LLM au fil du temps ?

1. Les prix sont restés constants
2. Les prix ont augmenté significativement
3. Les prix ont diminué considérablement
4. Les modèles de tarification sont restés les mêmes

Question 30

Quelle famille de modèles est spécifiquement conçue pour la génération de code par Meta ?

1. Llama
2. Code Llama
3. StarCoder
4. Copilot

---

Quiz terminé !

Félicitations pour avoir terminé le Quiz du Module 1 ! Revoyez les questions que vous avez trouvées difficiles et revisitez les sections de chapitre pertinentes.

Score de passage : 24/30 (80%)

---

← Chapitre 3 : Le paysage des LLM

Module 2 : Architecture Transformer →