Capítulo 3: Limitaciones y Alucinaciones
Lo que los LLM no pueden hacer
Comprender las limitaciones de los LLM es tan importante como conocer sus capacidades. Exploremos en qué fallan los LLM y por qué.
El problema de las alucinaciones
Alucinación es cuando un LLM genera información que suena confiable y plausible, pero que es incorrecta o completamente inventada.
Por qué ocurre
Recuerde: los LLM predicen texto probable, no hechos verificados.
| Lo que hacen los LLM | Lo que esto causa |
|---|---|
| Predicen palabras probables | Salida que suena plausible |
| Aprenden de datos de internet | Pueden aprender información falsa |
| Generan contenido creativo | Pueden inventar "hechos" |
| Completan patrones | Pueden llenar vacíos con ficción |
Ejemplos de alucinaciones
Citas inventadas:
"Según Smith et al. (2019) en el Journal of AI Research..." (El artículo no existe)
Hechos falsos:
"El Puente Golden Gate, terminado en 1932, es el puente colgante más largo del mundo." (Fecha incorrecta, afirmación incorrecta)
Experiencia inventada:
"Como profesional médico licenciado, recomiendo..." (Los LLM no tienen ninguna licencia)
Límite de conocimiento
Qué significa
Los LLM solo saben lo que estaba en sus datos de entrenamiento. La información posterior a la fecha de corte es desconocida.
Fechas de corte actuales (aproximadas)
| Modelo | Límite de conocimiento |
|---|---|
| GPT-4 (original) | Septiembre 2021 |
| GPT-4 Turbo | Abril 2024 |
| Claude 3 | Principios de 2024 |
| Gemini | Variable |
Implicaciones
- No conocerán eventos recientes
- Información desactualizada sobre temas de rápido cambio
- Pueden dar consejos obsoletos (tecnología, regulaciones)
Limitaciones de razonamiento
Los LLM tienen dificultades con:
Matemáticas complejas:
"¿Cuánto es 847 × 593?" → A menudo incorrecto sin herramientas
Lógica de varios pasos:
Rompecabezas complejos con muchas interdependencias
Modelado consistente del mundo:
Seguir posiciones en una tarea de razonamiento espacial
Planificación real:
Estrategia a largo plazo con muchas variables
¿Por qué?
Los LLM trabajan palabra por palabra. No tienen memoria de trabajo ni una "hoja de borrador" para cálculos complejos (a menos que se les indique usar una).
Lo que los LLM no tienen
❌ Comprensión real
Los LLM procesan patrones, no significados. No "entienden" que el fuego quema o que una caída duele.
❌ Razonamiento de sentido común
A veces fallan en cosas obvias:
"¿Puede un niño de 3 años correr una maratón?" El LLM podría hablar sobre entrenamiento para maratón en lugar de decir "no".
❌ Creatividad genuina
Los LLM recombinan patrones; no tienen ideas realmente novedosas ni experiencias propias.
❌ Memoria persistente
Cada conversación comienza desde cero (a menos que se almacene explícitamente).
❌ Autoconciencia
Los LLM no saben que son IA, no tienen preferencias y no pueden reflexionar sobre sus propios procesos.
El problema de la confianza
Los LLM suenan confiados incluso cuando están equivocados
Esto es un peligro importante:
| Respuesta correcta | Respuesta incorrecta |
|---|---|
| "París es la capital de Francia." | "La capital de Australia es Sídney." |
| Misma confianza | Misma confianza |
Los LLM no señalan bien la incertidumbre. Una respuesta 100% incorrecta a menudo suena tan confiada como una correcta.
Por qué importa
- Los usuarios pueden confiar en información incorrecta
- Difícil distinguir salidas confiables de no confiables
- Los contextos profesionales se vuelven riesgosos
Cuándo NO confiar en los LLM
Situaciones de alto riesgo
| Dominio | Riesgo |
|---|---|
| Consejo médico | Podría dañar la salud |
| Consejo legal | Podría causar problemas legales |
| Decisiones financieras | Podría causar pérdidas económicas |
| Sistemas críticos de seguridad | Podría causar daño físico |
| Hechos académicos | Podría propagar desinformación |
Regla general
Si el costo de equivocarse es alto, verifique de forma independiente.
La crítica del "loro estocástico"
Algunos investigadores llaman a los LLM "loros estocásticos": repiten patrones de los datos de entrenamiento con variación estadística, sin comprensión real.
El debate
Quienes apoyan esta idea dicen: Los LLM realmente no entienden; solo reconocen patrones.
Quienes critican esta visión dicen: ¿Quizás la comprensión es reconocimiento de patrones a gran escala?
Implicación práctica: Independientemente de la filosofía, trate las salidas con escepticismo.
Estrategias de mitigación
Para usuarios
- Verifique información importante con fuentes confiables
- Pida fuentes (pero verifíquelas: ¡pueden ser alucinadas!)
- Use prompts específicos para reducir la ambigüedad
- Cruce información con varias consultas o modelos
- Sea escéptico ante afirmaciones que suenan muy confiadas
Para desarrolladores
- Agregue avisos a las salidas de IA
- Use RAG (Generación aumentada por recuperación) para tareas factuales
- Implemente revisión humana para salidas críticas
- Limite el alcance para reducir la superficie de error
- Monitoree alucinaciones en producción
Generación aumentada por recuperación (RAG)
RAG conecta los LLM con bases de conocimiento verificadas, reduciendo las alucinaciones al fundamentar las respuestas en documentos reales.
Cómo funciona
Esto no elimina las alucinaciones, pero las reduce significativamente para los temas cubiertos.
Mejoras actuales
Herramientas y agentes
LLM conectados a calculadoras, motores de búsqueda, intérpretes de código.
Capas de verificación de hechos
Sistemas de IA que verifican las salidas de los LLM.
Mejor entrenamiento
Constitutional AI, RLHF para mayor veracidad.
Calibración de confianza
Investigación para que los LLM expresen incertidumbre de manera adecuada.
Puntos clave
✅ La alucinación ocurre cuando los LLM generan información plausible pero falsa
✅ Los límites de conocimiento implican que los LLM no conocen eventos recientes
✅ Los LLM tienen dificultades con matemáticas complejas, lógica y planificación
✅ La confianza no indica precisión
✅ Las decisiones de alto riesgo nunca deben depender solo de la salida de un LLM
✅ RAG y la verificación ayudan, pero no eliminan los problemas
Piénselo
- ¿Por qué pueden ser peligrosas las alucinaciones en un contexto de atención al cliente?
- ¿Cómo explicaría a un colega no técnico por qué no debe confiar ciegamente en ChatGPT?
- ¿Qué salvaguardas querría si un LLM le ayudara con información médica?
Próximos pasos
Ponga a prueba su comprensión del uso práctico de los LLM en el Cuestionario del Módulo 3, luego explore el ecosistema de LLM en el Módulo 4.