Quiz : Module 12 - L'avenir des LLM

Question 1

Qu'a montré le scaling de Chinchilla ?

1. Des modèles plus petits entraînés sur plus de données peuvent surpasser des modèles plus grands
2. Plus c'est gros, mieux c'est
3. Les données ne comptent pas
4. L'entraînement devrait s'arrêter tôt

Question 2

Quel est le ratio optimal de tokens par paramètre de Chinchilla ?

1. ~20 tokens par paramètre
2. 1 token par paramètre
3. 100 tokens par paramètre
4. 1000 tokens par paramètre

Question 3

Qu'est-ce que Mamba ?

1. Modèle d'espace d'état sélectif avec complexité linéaire
2. Nouvelle variante de Transformer
3. Cadre d'entraînement
4. Jeu de données

Question 4

Quelle complexité a l'attention standard ?

1. O(n²) en longueur de séquence
2. O(n)
3. O(log n)
4. O(1)

Question 5

Quelle complexité ont les SSM ?

1. O(n) linéaire
2. O(n²)
3. O(n³)
4. O(log n)

Question 6

Que signifie AGI ?

1. Intelligence Artificielle Générale
2. Intelligence Générée Avancée
3. Intelligence Globale Automatisée
4. Intelligence Artificielle Gradient

Question 7

Avec quoi les LLM actuels ont-ils du mal ?

1. Précision factuelle fiable et raisonnement complexe
2. Génération de texte
3. Suivre des instructions simples
4. Traitement des entrées

Question 8

Qu'est-ce que RWKV ?

1. Architecture combinant l'efficacité des RNN avec la qualité des Transformers
2. Random Weight Key Value
3. Attention KV pondérée résiduelle
4. Technique d'entraînement

Question 9

Quelle est une direction probable pour les architectures futures ?

1. Hybride combinant attention et couches linéaires
2. Retour pur aux RNN
3. Aucun changement par rapport à l'actuel
4. Abandonner les réseaux neuronaux

Question 10

Quel est le défi de l'apprentissage continu ?

1. Mettre à jour le modèle sans oublier les connaissances précédentes
2. Durée de l'entraînement
3. Planification du taux d'apprentissage
4. Collecte de données

Questions 11-30

(Couvrant : efficacité du scaling, capacités émergentes, saturation des benchmarks, contraintes de données, modèles du monde, améliorations du raisonnement, sécurité à grande échelle, implications économiques, architectures hybrides, tendances du calcul, améliorations algorithmiques, planification multi-étapes, apprentissage en ligne, gouvernance de l'IA, incertitudes des délais)

Question 11

Qu'est-ce que la saturation des benchmarks ?

1. Les modèles atteignent des scores quasi-parfaits, limitant la différenciation
2. Trop de benchmarks
3. Débordement de données
4. Entraînement trop long

Question 12

Qu'est-ce qu'un modèle du monde en IA ?

1. Représentation interne de la façon dont le monde fonctionne
2. Modèle d'IA global
3. Données cartographiques
4. Modèle de traduction

Question 13

Qu'est-ce qui limite la disponibilité des données pour l'entraînement ?

1. Le texte de haute qualité est fini ; la qualité compte plus que la quantité
2. Coûts de stockage
3. Vitesse de traitement
4. Aucune limite n'existe

Question 14

Qu'est-ce que l'amélioration de la chaîne de pensée ?

1. Raisonnement multi-étapes en montrant le travail
2. Vitesse de génération de texte
3. Utilisation de la mémoire
4. Efficacité de l'entraînement

Question 15

Quel est le défi de la sécurité à grande échelle ?

1. Maintenir l'alignement à mesure que les capacités augmentent
2. Sécurité physique
3. Sécurité des serveurs
4. Sécurité des mots de passe

Question 16

Quel impact économique ont les LLM ?

1. Changements majeurs de productivité dans tous les secteurs
2. Aucun impact significatif
3. Seulement l'industrie technologique
4. Seulement la recherche

Question 17

De quoi parle la loi de scaling de Kaplan ?

1. Relation de loi de puissance entre la taille du modèle et la perte
2. Temps d'entraînement
3. Utilisation de la mémoire
4. Coûts de l'API

Question 18

Qu'est-ce qu'une capacité émergente ?

1. Capacité qui apparaît soudainement à une certaine échelle
2. Caractéristique conçue
3. Bogue
4. Fonction d'urgence

Question 19

Qu'est-ce que l'entraînement optimal en calcul ?

1. Meilleure allocation du calcul entre la taille du modèle et les données
2. Entraînement le plus rapide
3. Entraînement le moins cher
4. Plus de paramètres

Question 20

Qu'est-ce que la gouvernance de l'IA ?

1. Politiques et règles pour le développement et le déploiement de l'IA
2. IA se gérant elle-même
3. Utilisation de l'IA par le gouvernement
4. Structure d'entreprise

Question 21

Qu'est-ce que l'apprentissage en ligne ?

1. Apprentissage continu à partir de nouvelles données sans réentraînement complet
2. Cours sur Internet
3. Formation en ligne
4. Jeux en ligne

Question 22

Qu'est-ce qui est sélectif dans le SSM sélectif de Mamba ?

1. Paramètres dépendants de l'entrée qui sélectionnent les informations pertinentes
2. Sélection aléatoire
3. Sélection par l'utilisateur
4. Sélection fixe

Question 23

Pourquoi les transformers pourraient-ils persister ?

1. Bien compris, optimisés et de haute qualité
2. Aucune alternative
3. Option la moins chère
4. Architecture la plus simple

Question 24

Qu'est-ce que la compréhension ancrée ?

1. Langage connecté à la connaissance et à la perception du monde réel
2. Mise à la terre électrique
3. Connaissance de base
4. Modèles de fondation

Question 25

Quel est le débat entre la correspondance de motifs et la compréhension ?

1. Si les LLM comprennent vraiment ou se contentent de correspondre à des motifs
2. Regex vs NLP
3. Algorithmes de recherche
4. Reconnaissance d'images

Question 26

Quelle tendance en calcul permet des modèles plus grands ?

1. Améliorations continues du matériel (GPU, TPU)
2. Seulement la baisse des coûts
3. Seulement le logiciel
4. Aucune tendance

Question 27

Qu'est-ce qu'une amélioration algorithmique ?

1. Meilleures méthodes d'entraînement obtenant les mêmes résultats avec moins de calcul
2. Plus de calcul
3. Meilleur matériel
4. Plus de données

Question 28

Quel est le défi de la planification multi-étapes ?

1. Les LLM ont du mal avec des plans cohérents à long terme
2. Trop d'étapes dans l'entraînement
3. Problèmes de planification
4. Limites de taux de l'API

Question 29

Quelle est la transformation de l'éducation par les LLM ?

1. Tutorat personnalisé, évaluation modifiée, nouvelles compétences requises
2. Aucun changement
3. Seulement l'apprentissage en ligne
4. Moins d'éducation nécessaire

Question 30

Pourquoi les délais pour l'AGI sont-ils incertains ?

1. Exigences inconnues et percées imprévisibles
2. Mauvaise planification
3. Manque de financement
4. Pas assez de chercheurs

---

Félicitations !

Vous avez complété tous les quiz des 12 modules ! 🎉

Note de passage : 24/30 (80%)

← Chapitre 3Glossaire →