Capítulo 3: Contexto y memoria
Cómo los LLM "recuerdan" su conversación
Cuando usted conversa con un LLM, parece que recuerda lo que dijo antes. ¿Pero cómo funciona esto? La respuesta implica comprender la ventana de contexto—la memoria a corto plazo del modelo.
¿Qué es la ventana de contexto?
La ventana de contexto es la cantidad máxima de texto que un LLM puede "ver" a la vez al generar una respuesta.
Piénselo como una ventana
Imagine que está leyendo un documento largo a través de una ventana pequeña. Solo puede ver una parte a la vez. A medida que desliza la ventana, ve texto nuevo, pero pierde de vista el texto anterior.
Así es exactamente como funcionan las ventanas de contexto para los LLM.
Tamaños de ventana de contexto
Diferentes modelos tienen diferentes tamaños de "ventana":
| Modelo | Ventana de contexto | Equivalente aproximado |
|---|---|---|
| GPT-3.5 | 4K tokens | ~3,000 palabras (6 páginas) |
| GPT-4 | 8K-128K tokens | 6-100 páginas |
| Claude 3 | 200K tokens | ~150,000 palabras (una novela) |
| Gemini 1.5 | 1M tokens | Varios libros |
¿Qué son los tokens?
Los tokens son fragmentos de palabras—no son exactamente palabras, pero se parecen:
| Texto | Tokens aproximados |
|---|---|
| "Hello" | 1 token |
| "Unbelievable" | 3 tokens (un-believ-able) |
| "ChatGPT is amazing" | ~4-5 tokens |
| 1 página de texto | ~500-750 tokens |
Cómo el contexto crea "memoria"
La ilusión de la memoria
Los LLM en realidad no tienen memoria persistente. En cambio:
- Su mensaje + todo el historial de la conversación se envía cada vez
- El modelo ve todo lo que está en la ventana de contexto
- Genera una respuesta basada en todo esto
Qué se envía al modelo
[System prompt: You are a helpful assistant...]
[User: Hello!]
[Assistant: Hi there! How can I help you?]
[User: I'm learning about AI]
[Assistant: Great! What would you like to know?]
[User: What is machine learning?] ← Mensaje actual
Todo esto se envía al modelo cada vez, no solo su último mensaje.
El efecto de ventana deslizante
Cuando el contexto es demasiado largo
Si su conversación excede la ventana de contexto:
Por eso:
- Las conversaciones muy largas pueden "olvidar" detalles iniciales
- La IA puede preguntar sobre algo que usted ya le dijo
- La resumidera puede ayudar a preservar el contexto importante
Por qué los LLM "olvidan"
1. Desbordamiento de la ventana de contexto
Los mensajes más antiguos se eliminan cuando la ventana está llena.
2. Sin almacenamiento permanente
Entre sesiones, no se retiene nada (a menos que la aplicación lo guarde).
3. Dilución de la atención
Incluso dentro de la ventana, el modelo presta más atención al contenido reciente y relevante.
El system prompt
Un system prompt son instrucciones ocultas que determinan cómo se comporta la IA durante toda la conversación.
Ejemplos de system prompts
| Aplicación | El system prompt podría decir |
|---|---|
| ChatGPT | "You are a helpful assistant..." |
| Bot de soporte al cliente | "You are a support agent for XYZ company..." |
| Asistente de código | "You are a programming expert. Always explain your code..." |
| Juego de rol | "You are a medieval knight named Sir Galahad..." |
El system prompt ocupa parte de la ventana de contexto pero guía todas las respuestas.
Estrategias para trabajar con límites de contexto
1. Sea conciso
Mensajes más cortos = más espacio para el historial de la conversación.
2. Resuma cuando sea necesario
"Permítame resumir lo que hemos discutido hasta ahora..."
3. Haga referencia a información clave
Repita los detalles importantes si la conversación es larga: "Como mencioné antes, mi presupuesto es de $1000..."
4. Comience de nuevo para temas nuevos
Inicie un nuevo chat para temas no relacionados y así evitar confusiones.
5. Use referencias explícitas
"Basado en el código que mostró en su segundo mensaje..."
Cómo diferentes aplicaciones gestionan el contexto
| Enfoque | Cómo funciona | Contrapartida |
|---|---|---|
| Truncamiento simple | Se eliminan los mensajes más antiguos | Se pierde el contexto inicial |
| Ventana deslizante | Mantiene los N mensajes más recientes | Puede perder información importante del inicio |
| Resumen | La IA resume los mensajes antiguos | Se pierde detalle, se mantiene la idea general |
| Híbrido | System prompt + resumen + recientes | Buen equilibrio |
Funciones de memoria vs. contexto
Algunos productos de IA agregan funciones de memoria más allá de la ventana de contexto:
Memoria de ChatGPT
- Almacena hechos que usted le indica explícitamente
- Persiste entre conversaciones
- Utiliza almacenamiento separado, no contexto
Conocimiento personalizado
- Documentos cargados
- Se recuperan cuando son relevantes
- Una técnica llamada RAG (Retrieval-Augmented Generation)
Estas son adiciones al mecanismo básico de contexto, no reemplazos.
Implicaciones prácticas
Por qué la misma pregunta recibe respuestas diferentes
- Contexto diferente (historial de conversación)
- Semilla aleatoria diferente en la generación
- Versión diferente/hora del día
Por qué los documentos largos son complicados
- Puede que no quepan en el contexto
- La atención del modelo es limitada
- La información al inicio/final se recuerda mejor que la del medio
Por qué las instrucciones pueden ser "olvidadas"
- Se eliminan del contexto en conversaciones largas
- Instrucciones nuevas sobrescriben las anteriores
- Los system prompts ayudan pero no son perfectos
Puntos clave
✅ La ventana de contexto es la "memoria a corto plazo" del LLM
✅ Toda la conversación se reenvía con cada mensaje
✅ Diferentes modelos tienen límites de contexto muy distintos
✅ El desbordamiento provoca la pérdida de las primeras partes de la conversación
✅ Los system prompts moldean el comportamiento pero consumen espacio de contexto
✅ Las funciones de memoria son adiciones, no parte del funcionamiento central del LLM
Piénselo
- ¿Por qué un chatbot de soporte al cliente podría "olvidar" su número de pedido en una conversación muy larga?
- ¿Cómo le ayuda conocer las ventanas de contexto a obtener mejores resultados de los asistentes de IA?
- ¿Por qué es valiosa la ventana de contexto de 200K de Claude para analizar documentos largos?
Próximos pasos
Ponga a prueba su comprensión de cómo funcionan los LLM en el Cuestionario del Módulo 2, luego continúe al Módulo 3 para aprender sobre el uso práctico de los LLM.