Quiz : Module 6 - Inférence et Déploiement

Question 1

Que stocke le cache KV ?

1. Tenseurs de clé et de valeur précédemment calculés
2. Pondérations du modèle
3. Incorporations de jetons
4. Gradients

Question 2

Qu'est-ce que le décodage spéculatif ?

1. Utiliser un petit modèle pour rédiger des jetons, vérifiés par un grand modèle
2. Génération aléatoire de jetons
3. Génération parallèle à partir de plusieurs modèles
4. Prédire l'intention de l'utilisateur

Question 3

Quelle réduction de mémoire la quantification INT4 fournit-elle ?

1. 50%
2. 75%
3. 87,5 % (à 12,5 % de l'original)
4. 25%

Question 4

Qu'est-ce que GPTQ ?

1. Méthode de quantification post-entraînement pour les modèles GPT
2. Une variante de GPT
3. Un cadre d'entraînement
4. Un tokenizer

Question 5

Quelle est l'innovation clé de vLLM ?

1. PagedAttention pour l'efficacité de la mémoire
2. Meilleure tokenisation
3. Amélioration de l'entraînement
4. Entraînement multi-GPU

Question 6

Qu'améliore le traitement par lots continu ?

1. Le débit en traitant plusieurs requêtes simultanément
2. La précision du modèle
3. La vitesse d'entraînement
4. L'utilisation de la mémoire

Question 7

Qu'est-ce que AWQ ?

1. Quantification des poids sensible à l'activation
2. Qualité automatique des poids
3. Quantification moyenne des poids
4. Requêtes pondérées avancées

Question 8

Quelle bibliothèque fournit la quantification à la volée ?

1. bitsandbytes
2. GPTQ
3. vLLM
4. TensorRT

Question 9

Qu'est-ce que TGI ?

1. Text Generation Inference - solution de service de HuggingFace
2. Interface GPU d'entraînement
3. Indice de génération de jetons
4. Intelligence d'évaluation de texte

Question 10

Pourquoi utiliser l'équilibrage de charge pour le service LLM ?

1. Distribuer les requêtes sur plusieurs serveurs pour la fiabilité et le débit
2. Réduire la taille du modèle
3. Améliorer la précision
4. Accélérer l'entraînement

Questions 11-30

(Couvrant des sujets avancés d'optimisation : attention flash, parallélisme de tenseurs pour l'inférence, stratégies d'autoscaling, optimisation des coûts, compromis latence vs débit, tests A/B, surveillance, stratégies de mise en cache, limitation de débit et modèles de déploiement)

Question 11

Que optimise Flash Attention ?

1. Les schémas d'accès à la mémoire pour le calcul de l'attention
2. L'architecture du modèle
3. Les données d'entraînement
4. La tokenisation

Question 12

Qu'est-ce que le parallélisme de tenseurs dans l'inférence ?

1. Diviser les matrices de poids entre les GPU
2. Exécuter plusieurs modèles
3. Regrouper les requêtes
4. Mettre en cache les réponses

Question 13

Quand devriez-vous utiliser l'autoscaling ?

1. Lorsque le trafic varie considérablement au fil du temps
2. Pour le développement uniquement
3. Jamais - la capacité fixe est meilleure
4. Uniquement pour l'entraînement

Question 14

Quelle est une stratégie clé d'optimisation des coûts ?

1. Utiliser des modèles plus petits/quantifiés pour des requêtes plus simples
2. Utiliser toujours le plus grand modèle
3. Désactiver la mise en cache
4. Exécuter plus de serveurs

Question 15

Quel est le compromis avec des tailles de lot plus élevées ?

1. Débit plus élevé mais latence accrue par requête
2. Débit plus faible et latence plus faible
3. Aucun compromis
4. N'affecte que la mémoire

Question 16

À quoi sert la mise en cache des réponses ?

1. Requêtes identiques ou similaires répétées
2. Toutes les requêtes de manière égale
3. Uniquement les requêtes de première fois
4. Données d'entraînement

Question 17

Qu'est-ce que la limitation de débit ?

1. Limiter les requêtes par utilisateur/temps pour éviter la surcharge
2. Limiter la taille du modèle
3. Limiter la longueur de sortie
4. Limiter les époques d'entraînement

Question 18

Quelle métrique mesure le mieux l'expérience utilisateur ?

1. Temps jusqu'au premier jeton (TTFT)
2. Débit total
3. Utilisation du GPU
4. Utilisation de la mémoire

Question 19

Quel est l'impact typique de la précision de INT8 ?

1. Minime (~1 % de dégradation)
2. Significatif (>10%)
3. Aucun du tout
4. Améliore la précision

Question 20

Quel est l'avantage de l'inférence asynchrone ?

1. Non-bloquant, permet un traitement simultané
2. Meilleure précision
3. Code plus simple
4. Moins de mémoire

Question 21

Que prend en charge Triton Inference Server ?

1. Plusieurs cadres de modèles et ensemble de modèles
2. Seulement PyTorch
3. Seulement TensorFlow
4. Seulement ONNX

Question 22

Quand utiliser les réponses en streaming ?

1. Longues sorties où les utilisateurs bénéficient de voir des résultats partiels
2. Seulement pour les sorties courtes
3. Jamais - attendre le complet
4. Uniquement pour le débogage

Question 23

Qu'est-ce que le réchauffement de modèle ?

1. Exécuter l'inférence avant la production pour optimiser les caches
2. Entraînement avec des données chaudes
3. Gestion de la température du GPU
4. Augmentation progressive du taux d'apprentissage

Question 24

Que mesure "jetons par seconde" ?

1. Vitesse de génération/débit
2. Précision
3. Utilisation de la mémoire
4. Taille du modèle

Question 25

Pourquoi utiliser ONNX pour le déploiement ?

1. Format indépendant du cadre avec un large support d'exécution
2. Fonctionne uniquement avec PyTorch
3. Meilleur entraînement
4. Modèles plus petits

Question 26

Qu'est-ce que le pré-remplissage vs décodage dans l'inférence LLM ?

1. Le pré-remplissage traite l'invite (parallèle), le décodage génère des jetons (séquentiel)
2. Les deux sont identiques
3. Le pré-remplissage est l'entraînement, le décodage est l'inférence
4. Utilisé uniquement dans l'entraînement

Question 27

Que limite la mémoire GPU pendant l'inférence ?

1. Taille du modèle et cache KV pour le contexte
2. Seulement la taille du modèle
3. Seulement la taille du lot
4. Gradients d'entraînement

Question 28

Quel est l'avantage de la distillation de modèle pour le déploiement ?

1. Modèle plus petit et plus rapide qui imite un plus grand
2. Meilleure précision
3. Modèle plus grand
4. Plus de paramètres

Question 29

Qu'est-ce qu'un contrôle de santé dans le déploiement LLM ?

1. Point de terminaison pour vérifier que le service fonctionne correctement
2. Test de précision du modèle
3. Vérification de la température du GPU
4. Validation de l'entraînement

Question 30

Quelle métrique indique l'efficacité du GPU ?

1. Pourcentage d'utilisation du GPU pendant l'inférence
2. Précision du modèle
3. Nombre de paramètres
4. Temps d'entraînement

---

Note de passage : 24/30 (80%)

← Chapitre 3Module 7 →