Quiz : Techniques avancées
30 questions sur l'ajustement des instructions, DPO et ORPO.
Question 1
Qu'est-ce que l'ajustement des instructions ?
A) Ajustement de l'architecture du modèle
B) Entraînement sur des paires instruction-réponse
C) Optimisation des hyperparamètres
D) Réduction de la taille du modèle
Afficher la réponse
Réponse correcte : B
L'ajustement des instructions entraîne les modèles sur des paires instruction-réponse pour suivre les instructions de l'utilisateur.
Question 2
Que signifie DPO ?
A) Optimisation directe des paramètres
B) Optimisation directe des préférences
C) Optimisation de la double politique
D) Optimisation du traitement des données
Afficher la réponse
Réponse correcte : B
DPO est l'Optimisation directe des préférences, une alternative plus simple au RLHF.
Question 3
Quel type de données DPO nécessite-t-il ?
A) Réponses uniques
B) Paires de préférences (choisies/rejetées)
C) Étiquettes binaires
D) Texte non étiqueté
Afficher la réponse
Réponse correcte : B
DPO nécessite des paires de préférences avec des réponses choisies (préférées) et rejetées.
Question 4
Quelle est l'innovation principale d'ORPO ?
A) Entraînement plus rapide
B) Combine SFT et optimisation des préférences en une seule étape
C) Aucune donnée nécessaire
D) Fonctionne uniquement avec de petits modèles
Afficher la réponse
Réponse correcte : B
ORPO combine l'ajustement supervisé et l'optimisation des préférences en une seule étape d'entraînement.
Question 5
Que contrôle le paramètre bêta dans DPO ?
A) Taux d'apprentissage
B) Taille du lot
C) Force de la pénalité de divergence KL
D) Taille du modèle
Afficher la réponse
Réponse correcte : C
Bêta contrôle la pénalité de divergence KL, équilibrant l'optimisation des préférences par rapport à la proximité avec le modèle de référence.
(Les questions 6-30 couvrent des sujets supplémentaires)