Quiz : Module 8 - RLHF & Alignement

Question 1

Que signifie RLHF ?

1. Apprentissage par renforcement à partir de retours humains
2. Apprentissage récursif à partir de caractéristiques humaines
3. Langage raffiné à partir de retours humains
4. Apprentissage renforcé pour les fonctions humaines

Question 2

Quelle est la première étape du pipeline RLHF ?

1. Pré-entraîner le modèle de base
2. Entraîner le modèle de récompense
3. Entraînement PPO
4. Collecter les préférences humaines

Question 3

Qu'apprend un modèle de récompense ?

1. À prédire quelle réponse les humains préféreraient
2. À générer un meilleur texte
3. À classer les sujets
4. À traduire des langues

Question 4

Qu'est-ce que PPO dans RLHF ?

1. Optimisation de politique proximale - l'algorithme RL utilisé
2. Optimisation de politique pré-entraînée
3. Objectif de traitement parallèle
4. Optimisation de la prédiction des préférences

Question 5

Pourquoi utiliser la contrainte de divergence KL dans RLHF ?

1. Empêcher le modèle de s'éloigner trop du comportement original
2. Accélérer l'entraînement
3. Réduire l'utilisation de la mémoire
4. Améliorer la précision

Question 6

Qu'est-ce que l'IA constitutionnelle ?

1. Entraîner l'IA en utilisant un ensemble de principes au lieu d'un étiquetage au cas par cas
2. Réglementations gouvernementales pour l'IA
3. Applications juridiques de l'IA
4. Recherche en droit constitutionnel par l'IA

Question 7

Qu'est-ce que RLAIF ?

1. Apprentissage par renforcement à partir de retours de l'IA - utiliser l'IA pour générer des données de préférence
2. Apprentissage renforcé avec des fonctions d'IA
3. Cadre d'apprentissage récursif de l'IA
4. Interface d'apprentissage en temps réel de l'IA

Question 8

Qu'est-ce que le jailbreaking dans le contexte des LLM ?

1. Tenter de contourner les mesures de sécurité par des invites astucieuses
2. S'échapper d'un jeu de prison virtuelle
3. Déverrouiller les poids du modèle
4. Supprimer les limites de taux

Question 9

Qu'est-ce que la "taxe d'alignement" ?

1. Réduction potentielle de l'utilité en raison des mesures de sécurité
2. Coût de la recherche sur l'alignement
3. Taxe gouvernementale sur l'IA
4. Coût de calcul de l'entraînement

Question 10

Qu'est-ce que le red teaming ?

1. Test systématique pour trouver des vulnérabilités
2. Un type d'architecture de modèle
3. Méthode d'entraînement
4. Classification des erreurs par code couleur

Questions 11-30

(Couvrant : SFT vs RLHF, collecte de données de préférence, piratage de récompense, DPO, alignement des valeurs, interprétabilité, robustesse, alignement multi-parties prenantes, gouvernance de l'IA, techniques d'alignement émergentes)

Question 11

Qu'est-ce que SFT dans le pipeline RLHF ?

1. Affinage supervisé sur les données de démonstration
2. Entraînement séquentiel de caractéristiques
3. Entraînement de rétroaction sécurisée
4. Test de rétroaction synthétique

Question 12

Qu'est-ce que le piratage de récompense ?

1. Modèle trouvant des moyens de maximiser la récompense sans atteindre les objectifs prévus
2. Attaquer le modèle de récompense
3. Augmenter les récompenses d'entraînement
4. Techniques de piratage générées par l'IA

Question 13

Qu'est-ce que DPO (Optimisation directe des préférences) ?

1. Alternative à RLHF qui optimise directement sur les données de préférence
2. Optimisation directe de la politique
3. Optimisation du traitement des données
4. Optimisation des paramètres de distribution

Question 14

Pourquoi l'interprétabilité est-elle importante pour l'alignement ?

1. Pour comprendre pourquoi les modèles prennent certaines décisions
2. Pour rendre le code lisible
3. Pour accélérer l'inférence
4. Pour réduire la taille du modèle

Question 15

Quels sont les critères HHH ?

1. Utile, Inoffensif, Honnête
2. Haut, Lourd, Dur
3. Hybride, Hiérarchique, Holistique
4. Humain, Hybride, Utile

Question 16

Qu'est-ce que le modèle de référence dans RLHF ?

1. Modèle SFT original utilisé comme référence pour la pénalité KL
2. Le modèle le plus performant
3. Référence humaine
4. Modèle de documentation

Question 17

Qu'est-ce qui rend la collecte de données de préférence difficile ?

1. Subjectivité, coût et biais potentiels
2. Difficulté technique
3. Format des données
4. Exigences de stockage

Question 18

Qu'est-ce que la robustesse dans le contexte de l'alignement ?

1. Maintenir la sécurité sous diverses entrées et changements de distribution
2. Durabilité du modèle
3. Stabilité du code
4. Fiabilité du matériel

Question 19

Qu'est-ce que l'apprentissage des valeurs ?

1. Inférer les préférences et valeurs humaines à partir du comportement
2. Apprendre des valeurs numériques
3. Apprendre les valeurs du marché
4. Conversion de devises

Question 20

Qu'est-ce que la supervision à l'échelle ?

1. Maintenir la supervision humaine à mesure que les capacités de l'IA augmentent
2. Surveiller la taille du modèle
3. Augmenter les équipes humaines
4. Voir les métriques d'échelle

Question 21

Qu'est-ce qui a rendu ChatGPT différent de GPT-3 ?

1. Entraînement d'alignement RLHF
2. Taille plus grande
3. Architecture différente
4. Plus de données d'entraînement

Question 22

Quel est l'objectif du filtrage des sorties ?

1. Vérifier le contenu généré pour les sorties nuisibles
2. Compresser les sorties
3. Formater les réponses
4. Accélérer la génération

Question 23

Pourquoi s'entraîner sur des exemples adversariaux ?

1. Pour rendre le modèle robuste contre les tentatives d'attaque
2. Pour augmenter la taille du modèle
3. Pour accélérer l'entraînement
4. Pour réduire les coûts de calcul

Question 24

Qu'est-ce que la spécification dans l'alignement ?

1. Définir précisément ce que nous voulons que l'IA fasse
2. Exigences matérielles
3. Documentation API
4. Architecture du modèle

Question 25

Qu'est-ce que l'assurance dans l'alignement ?

1. Vérifier que le modèle a les propriétés souhaitées
2. Assurance pour l'IA
3. Garantie de performance
4. Support client

Question 26

Qu'est-ce qu'une boucle de critique-révision dans l'IA constitutionnelle ?

1. Modèle critiquant et révisant ses propres sorties
2. Processus de révision humaine
3. Revue de code
4. Itération d'entraînement

Question 27

Quel problème RLHF résout-il que SFT ne résout pas ?

1. Apprendre les préférences relatives entre les sorties
2. Générer du texte
3. Tokenisation
4. Efficacité de la mémoire

Question 28

Qu'est-ce que la gouvernance de l'IA dans l'alignement ?

1. Décider qui détermine les objectifs d'alignement et les normes de sécurité
2. IA se gérant elle-même
3. IA gouvernementale
4. Administration de l'IA

Question 29

Quelle est la pénalité du modèle de référence dans PPO ?

1. β × D_KL(π_θ || π_ref) pour éviter la dérive
2. Perte d'entraînement
3. Coût de la mémoire
4. Coût de calcul

Question 30

Qu'est-ce qui distingue un modèle bien aligné ?

1. Grande utilité ET grande sécurité
2. Sécurité maximale seulement
3. Utilité maximale seulement
4. Taille la plus grande

---

Note de passage : 24/30 (80%)

← Chapitre 3Module 9 →