Quiz : Évaluation et Fusion
30 questions sur l'évaluation de modèle, la fusion et l'ablation.
Question 1
Que mesure la perplexité ?
A) Vitesse du modèle
B) Efficacité d'un modèle à prédire du texte
C) Taille du modèle
D) Temps d'entraînement
Afficher la réponse
Réponse correcte : B
La perplexité mesure l'efficacité d'un modèle probabiliste à prédire un échantillon—plus c'est bas, mieux c'est.
Question 2
Qu'est-ce que la fusion TIES ?
A) Une méthode d'entraînement
B) Une technique de fusion pour la résolution de conflits
C) Un schéma de tokenisation
D) Un optimiseur
Afficher la réponse
Réponse correcte : B
TIES (Trim, Elect Sign & Merge) résout les conflits entre les paramètres du modèle lors de la fusion.
Question 3
Que fait model.merge_and_unload() ?
A) Sauvegarde le modèle
B) Fusionne LoRA dans le modèle de base et supprime l'adaptateur
C) Charge un nouveau modèle
D) Décharge du GPU
Afficher la réponse
Réponse correcte : B
merge_and_unload() intègre les poids LoRA dans le modèle de base, supprimant la surcharge de l'adaptateur.
Question 4
Qu'est-ce qu'une étude d'ablation ?
A) Suppression du modèle
B) Tester systématiquement les composants pour comprendre leur contribution
C) Un type de fonction de perte
D) Compression de modèle
Afficher la réponse
Réponse correcte : B
Les études d'ablation varient systématiquement les composants pour comprendre ce qui contribue à la performance.
Question 5
Quel outil est utilisé pour le benchmarking complet des LLM ?
A) PyTorch
B) lm-evaluation-harness
C) TensorFlow
D) NumPy
Afficher la réponse
Réponse correcte : B
lm-evaluation-harness par EleutherAI fournit une évaluation de benchmark complète pour les LLM.
(Les questions 6-30 couvrent des sujets supplémentaires)