Chapitre 3 : Contexte et Mémoire
Comment les LLM "se souviennent" de votre conversation
Lorsque vous discutez avec un LLM, il semble se souvenir de ce que vous avez dit précédemment. Mais comment cela fonctionne-t-il ? La réponse implique de comprendre la fenêtre de contexte—la mémoire à court terme du modèle.
Qu'est-ce que la fenêtre de contexte ?
La fenêtre de contexte est la quantité maximale de texte qu'un LLM peut "voir" à la fois lors de la génération d'une réponse.
Pensez-y comme une fenêtre
Imaginez que vous lisez un long document à travers une petite fenêtre. Vous ne pouvez voir qu'une partie à la fois. En faisant glisser la fenêtre, vous voyez un nouveau texte, mais vous perdez de vue l'ancien texte.
C'est exactement ainsi que fonctionnent les fenêtres de contexte pour les LLM.
Tailles des fenêtres de contexte
Différents modèles ont des tailles de "fenêtre" différentes :
| Modèle | Fenêtre de Contexte | Équivalent Approximatif À |
|---|---|---|
| GPT-3.5 | 4K tokens | ~3,000 mots (6 pages) |
| GPT-4 | 8K-128K tokens | 6-100 pages |
| Claude 3 | 200K tokens | ~150,000 mots (un roman) |
| Gemini 1.5 | 1M tokens | Plusieurs livres |
Que sont les tokens ?
Les tokens sont des morceaux de mots—pas exactement des mots, mais presque :
| Texte | Tokens Approximatifs |
|---|---|
| "Bonjour" | 1 token |
| "Incroyable" | 3 tokens (in-croy-able) |
| "ChatGPT est incroyable" | ~4-5 tokens |
| 1 page de texte | ~500-750 tokens |
Comment le contexte crée une "mémoire"
L'illusion de la mémoire
Les LLM n'ont pas réellement de mémoire persistante. Au lieu de cela :
- Votre message + l'historique complet de la conversation est envoyé à chaque fois
- Le modèle voit tout dans la fenêtre de contexte
- Il génère une réponse basée sur tout cela
Ce qui est envoyé au modèle
[System prompt: Vous êtes un assistant utile...]
[Utilisateur : Bonjour !]
[Assistant : Bonjour ! Comment puis-je vous aider ?]
[Utilisateur : J'apprends l'IA]
[Assistant : Super ! Que voulez-vous savoir ?]
[Utilisateur : Qu'est-ce que l'apprentissage automatique ?] ← Message actuel
Tout cela est envoyé au modèle à chaque fois, pas seulement votre dernier message.
L'effet de la fenêtre coulissante
Quand le contexte devient trop long
Si votre conversation dépasse la fenêtre de contexte :
C'est pourquoi :
- Les conversations très longues peuvent "oublier" les premiers détails
- L'IA peut poser des questions sur quelque chose que vous lui avez déjà dit
- La synthèse peut aider à préserver le contexte important
Pourquoi les LLM "oublient"
1. Débordement de la fenêtre de contexte
Les messages les plus anciens sont poussés hors de la fenêtre lorsqu'elle est pleine.
2. Pas de stockage permanent
Entre les sessions, rien n'est conservé (sauf si l'application le sauvegarde).
3. Dilution de l'attention
Même dans la fenêtre, le modèle accorde plus d'attention au contenu récent et important.
Le System Prompt
Un system prompt est une instruction cachée qui façonne le comportement de l'IA tout au long de la conversation.
Exemples de System Prompts
| Application | Le System Prompt Pourrait Dire |
|---|---|
| ChatGPT | "Vous êtes un assistant utile..." |
| Bot de Support Client | "Vous êtes un agent de support pour l'entreprise XYZ..." |
| Assistant de Code | "Vous êtes un expert en programmation. Expliquez toujours votre code..." |
| Jeu de Rôle | "Vous êtes un chevalier médiéval nommé Sir Galahad..." |
Le system prompt occupe une partie de la fenêtre de contexte mais guide toutes les réponses.
Stratégies pour travailler avec les limites de contexte
1. Soyez Concis
Messages plus courts = plus de place pour l'historique de la conversation.
2. Résumez si nécessaire
"Permettez-moi de résumer ce que nous avons discuté jusqu'à présent..."
3. Référez-vous aux informations clés
Répétez les détails importants si la conversation est longue : "Comme je l'ai mentionné plus tôt, mon budget est de 1000 $..."
4. Commencez à zéro pour de nouveaux sujets
Commencez une nouvelle discussion pour des sujets non liés afin d'éviter la confusion.
5. Utilisez des références explicites
"Basé sur le code que vous avez montré dans votre deuxième message..."
Comment différentes applications gèrent le contexte
| Approche | Comment ça fonctionne | Compromis |
|---|---|---|
| Troncature Simple | Messages les plus anciens supprimés | Perd le contexte initial |
| Fenêtre Coulissante | Conserve les N messages récents | Peut perdre une configuration importante |
| Synthèse | L'IA résume les anciens messages | Perd en détail, conserve l'essentiel |
| Hybride | System prompt + résumé + récent | Équilibre bien |
Fonctionnalités de mémoire vs. Contexte
Certains produits d'IA ajoutent des fonctionnalités de mémoire au-delà de la fenêtre de contexte :
Mémoire de ChatGPT
- Stocke les faits que vous lui dites explicitement
- Persiste entre les conversations
- Utilise un stockage séparé, pas le contexte
Connaissance Personnalisée
- Documents téléversés
- Récupérés lorsque pertinents
- Une technique appelée RAG (Génération Augmentée par Récupération)
Ce sont des ajouts au mécanisme de contexte de base, pas des remplacements.
Implications Pratiques
Pourquoi la même question obtient des réponses différentes
- Contexte différent (historique de la conversation)
- Graine aléatoire différente dans la génération
- Version/heure de la journée différente
Pourquoi les longs documents sont délicats
- Peuvent ne pas tenir dans le contexte
- L'attention du modèle est limitée
- Les informations au début/fin sont mieux retenues que celles au milieu
Pourquoi les instructions peuvent être "oubliées"
- Poussées hors du contexte dans les longues conversations
- Les instructions plus récentes remplacent les plus anciennes
- Les system prompts aident mais ne sont pas parfaits
Points Clés
✅ La fenêtre de contexte est la "mémoire à court terme" du LLM
✅ Toute la conversation est renvoyée avec chaque message
✅ Différents modèles ont des limites de contexte très différentes
✅ Le débordement entraîne une perte de la conversation initiale
✅ Les system prompts façonnent le comportement mais utilisent l'espace de contexte
✅ Les fonctionnalités de mémoire sont des ajouts, pas une partie de la fonction de base du LLM
Réfléchissez-y
- Pourquoi un chatbot de support client pourrait-il "oublier" votre numéro de commande dans une très longue conversation ?
- Comment le fait de connaître les fenêtres de contexte vous aide-t-il à obtenir de meilleurs résultats des assistants IA ?
- Pourquoi la fenêtre de contexte de 200K de Claude est-elle précieuse pour analyser de longs documents ?
Prochaines Étapes
Testez votre compréhension du fonctionnement des LLM dans le Quiz du Module 2, puis continuez au Module 3 pour apprendre à utiliser les LLM en pratique.