Chapitre 3 : Limitations et Hallucinations
Ce que les LLM ne peuvent pas faire
Comprendre les limitations des LLM est aussi important que connaître leurs capacités. Explorons où les LLM échouent et pourquoi.
Le problème des hallucinations
Hallucination est lorsque un LLM génère des informations qui semblent confiantes et plausibles mais qui sont factuellement incorrectes ou complètement inventées.
Pourquoi cela arrive
Rappelez-vous : les LLM prédisent le texte probable, pas des faits vérifiés.
| Ce que font les LLM | Ce que cela provoque |
|---|---|
| Prédire des mots probables | Sortie qui semble plausible |
| Apprendre à partir de données internet | Peut apprendre de fausses informations |
| Générer du contenu créatif | Peut inventer des "faits" |
| Compléter des motifs | Peut combler les lacunes avec de la fiction |
Exemples d'hallucinations
Citations inventées :
"Selon Smith et al. (2019) dans le Journal of AI Research..." (L'article n'existe pas)
Faux faits :
"Le Golden Gate Bridge, achevé en 1932, est le plus long pont suspendu du monde." (Date incorrecte, affirmation incorrecte)
Expertise inventée :
"En tant que professionnel médical agréé, je recommande..." (Les LLM ne sont pas agréés pour quoi que ce soit)
Limite de connaissance
Ce que cela signifie
Les LLM ne connaissent que ce qui était dans leurs données d'entraînement. Les informations après la date limite sont inconnues.
Limites actuelles (approximatives)
| Modèle | Limite de connaissance |
|---|---|
| GPT-4 (original) | Septembre 2021 |
| GPT-4 Turbo | Avril 2024 |
| Claude 3 | Début 2024 |
| Gemini | Variable |
Implications
- Ne connaîtra pas les événements récents
- Informations obsolètes sur des sujets en évolution rapide
- Peut donner des conseils obsolètes (technologie, réglementations)
Limitations du raisonnement
Les LLM ont du mal avec :
Mathématiques complexes :
"Quel est le résultat de 847 × 593 ?" → Souvent faux sans outils
Logique à plusieurs étapes :
Énigmes complexes avec de nombreuses interdépendances
Modélisation cohérente du monde :
Suivi des positions dans une tâche de raisonnement spatial
Véritable planification :
Stratégie à long terme avec de nombreuses variables
Pourquoi ?
Les LLM fonctionnent mot par mot. Ils n'ont pas de mémoire de travail ou de "brouillon" pour des calculs complexes (à moins d'être incités à en utiliser un).
Ce que les LLM n'ont pas
❌ Compréhension réelle
Les LLM traitent des motifs, pas des significations. Ils ne "comprennent" pas que le feu est chaud ou que tomber fait mal.
❌ Raisonnement de bon sens
Échoue parfois sur des choses évidentes :
"Un enfant de 3 ans peut-il courir un marathon ?" Le LLM pourrait discuter de l'entraînement au marathon au lieu de dire "non."
❌ Véritable créativité
Les LLM recombinent des motifs—ils n'ont pas de véritables idées ou expériences nouvelles sur lesquelles s'appuyer.
❌ Mémoire persistante
Chaque conversation commence à zéro (sauf si explicitement stockée).
❌ Conscience de soi
Les LLM ne savent pas qu'ils sont des IA, n'ont pas de préférences et ne peuvent pas réfléchir à leurs propres processus.
Le problème de confiance
Les LLM semblent confiants même lorsqu'ils ont tort
C'est un danger majeur :
| Réponse correcte | Réponse incorrecte |
|---|---|
| "Paris est la capitale de la France." | "La capitale de l'Australie est Sydney." |
| Même confiance | Même confiance |
Les LLM ne signalent pas bien l'incertitude. Une réponse 100% fausse semble souvent aussi confiante qu'une réponse correcte.
Pourquoi c'est important
- Les utilisateurs peuvent faire confiance à des informations incorrectes
- Difficile de distinguer les sorties fiables des non fiables
- Les contextes professionnels deviennent risqués
Quand NE PAS faire confiance aux LLM
Situations à haut risque
| Domaine | Risque |
|---|---|
| Conseils médicaux | Pourrait nuire à la santé |
| Conseils juridiques | Pourrait entraîner des problèmes juridiques |
| Décisions financières | Pourrait entraîner des pertes d'argent |
| Systèmes critiques pour la sécurité | Pourrait causer des dommages physiques |
| Faits académiques | Pourrait propager de la désinformation |
Règle générale
Si le coût d'une erreur est élevé, vérifiez indépendamment.
La critique du "perroquet stochastique"
Certains chercheurs appellent les LLM "perroquets stochastiques"—ils répètent des motifs des données d'entraînement avec variation statistique, sans véritable compréhension.
Le débat
Les partisans disent : Les LLM ne comprennent pas vraiment ; ils ne font que correspondre des motifs.
Les critiques de ce point de vue disent : Peut-être que la compréhension est une correspondance de motifs à une échelle suffisante ?
Implication pratique : Indépendamment de la philosophie, traitez les sorties avec scepticisme.
Stratégies d'atténuation
Pour les utilisateurs
- Vérifiez les informations importantes avec des sources fiables
- Demandez des sources (mais vérifiez-les—elles peuvent être hallucinées !)
- Utilisez des invites spécifiques pour réduire l'ambiguïté
- Vérifiez avec plusieurs requêtes ou modèles
- Soyez sceptique face aux affirmations qui semblent confiantes
Pour les développeurs
- Ajoutez des avertissements aux sorties de l'IA
- Utilisez RAG (Génération Augmentée par la Récupération) pour les tâches factuelles
- Implémentez une révision humaine pour les sorties critiques
- Limitez la portée pour réduire la surface d'erreur
- Surveillez les hallucinations en production
Génération Augmentée par la Récupération (RAG)
RAG connecte les LLM à des bases de connaissances vérifiées, réduisant les hallucinations en ancrant les réponses dans des documents réels.
Comment ça fonctionne
Cela n'élimine pas les hallucinations, mais les réduit considérablement pour les sujets couverts.
Améliorations actuelles
Outils et agents
LLM connectés à des calculatrices, moteurs de recherche, interprètes de code.
Couches de vérification des faits
Systèmes d'IA qui vérifient les sorties des LLM.
Meilleure formation
IA constitutionnelle, RLHF pour la véracité.
Calibration de la confiance
Recherche pour faire exprimer aux LLM une incertitude appropriée.
Points clés à retenir
✅ L'hallucination est lorsque les LLM génèrent des informations plausibles mais fausses
✅ Les limites de connaissance signifient que les LLM ne connaissent pas les événements récents
✅ Les LLM ont du mal avec les mathématiques complexes, la logique et la planification
✅ La confiance n'indique pas l'exactitude
✅ Les décisions à enjeux élevés ne devraient jamais reposer uniquement sur les sorties des LLM
✅ RAG et la vérification aident mais n'éliminent pas les problèmes
Réfléchissez-y
- Pourquoi les hallucinations pourraient-elles être dangereuses dans un contexte de support client ?
- Comment expliqueriez-vous à un collègue non technique pourquoi il ne devrait pas faire aveuglément confiance à ChatGPT ?
- Quelles mesures de protection souhaiteriez-vous si un LLM aidait avec des informations médicales ?
Prochaines étapes
Testez votre compréhension de l'utilisation pratique des LLM dans Module 3 Quiz, puis explorez l'écosystème des LLM dans le Module 4.