Capítulo 3: Contexto e Memória
Como os LLMs "lembram" da sua conversa
Quando você conversa com um LLM, parece que ele se lembra do que você disse antes. Mas como isso funciona? A resposta envolve entender a janela de contexto — a memória de curto prazo do modelo.
O que é a Janela de Contexto?
A janela de contexto é a quantidade máxima de texto que um LLM pode "enxergar" de uma vez ao gerar uma resposta.
Pense nela como uma janela
Imagine que você está lendo um documento longo através de uma pequena janela. Você só consegue ver uma parte por vez. Conforme você desliza a janela, vê novos trechos, mas perde de vista o texto antigo.
É exatamente assim que funcionam as janelas de contexto para os LLMs.
Tamanhos de Janela de Contexto
Modelos diferentes têm tamanhos de "janela" diferentes:
| Modelo | Janela de Contexto | Aproximadamente Equivalente a |
|---|---|---|
| GPT-3.5 | 4K tokens | ~3.000 palavras (6 páginas) |
| GPT-4 | 8K-128K tokens | 6-100 páginas |
| Claude 3 | 200K tokens | ~150.000 palavras (um romance) |
| Gemini 1.5 | 1M tokens | Vários livros |
O que são tokens?
Tokens são pedaços de palavras — não exatamente palavras, mas quase:
| Texto | Tokens Aproximados |
|---|---|
| "Hello" | 1 token |
| "Unbelievable" | 3 tokens (un-believ-able) |
| "ChatGPT is amazing" | ~4-5 tokens |
| 1 página de texto | ~500-750 tokens |
Como o Contexto Cria "Memória"
A ilusão de memória
LLMs na verdade não têm memória persistente. Em vez disso:
- Sua mensagem + todo o histórico da conversa é enviado a cada vez
- O modelo vê tudo que está na janela de contexto
- Ele gera uma resposta baseada em tudo isso
O que é enviado ao modelo
[System prompt: You are a helpful assistant...]
[User: Hello!]
[Assistant: Hi there! How can I help you?]
[User: I'm learning about AI]
[Assistant: Great! What would you like to know?]
[User: What is machine learning?] ← Mensagem atual
Tudo isso é enviado ao modelo toda vez, não apenas sua última mensagem.
O Efeito da Janela Deslizante
Quando o contexto fica muito longo
Se sua conversa ultrapassar a janela de contexto:
Por isso:
- Conversas muito longas podem "esquecer" detalhes do início
- A IA pode perguntar sobre algo que você já informou
- A sumarização pode ajudar a preservar o contexto importante
Por que os LLMs "esquecem"
1. Estouro da Janela de Contexto
As mensagens mais antigas são descartadas quando a janela está cheia.
2. Sem Armazenamento Permanente
Entre sessões, nada é retido (a menos que o aplicativo salve).
3. Diluição da Atenção
Mesmo dentro da janela, o modelo dá mais atenção ao conteúdo recente e relevante.
O System Prompt
Um system prompt são instruções ocultas que moldam como a IA se comporta durante toda a conversa.
Exemplos de System Prompts
| Aplicação | O System Prompt pode dizer |
|---|---|
| ChatGPT | "You are a helpful assistant..." |
| Bot de Suporte ao Cliente | "You are a support agent for XYZ company..." |
| Assistente de Código | "You are a programming expert. Always explain your code..." |
| Jogo de Interpretação | "You are a medieval knight named Sir Galahad..." |
O system prompt ocupa parte da janela de contexto, mas orienta todas as respostas.
Estratégias para Trabalhar com Limites de Contexto
1. Seja Conciso
Mensagens mais curtas = mais espaço para o histórico da conversa.
2. Resuma Quando Necessário
"Deixe-me resumir o que discutimos até agora..."
3. Refaça Informações-Chave
Repita detalhes importantes se a conversa for longa: "Como mencionei antes, meu orçamento é de R$1000..."
4. Comece do Zero para Novos Assuntos
Inicie um novo chat para tópicos não relacionados e evite confusão.
5. Use Referências Explícitas
"Com base no código que você mostrou na sua segunda mensagem..."
Como Diferentes Aplicativos Lidam com Contexto
| Abordagem | Como Funciona | Trade-off |
|---|---|---|
| Truncamento Simples | Mensagens mais antigas são removidas | Perde o contexto inicial |
| Janela Deslizante | Mantém as N mensagens mais recentes | Pode perder informações importantes do início |
| Sumarização | A IA resume mensagens antigas | Perde detalhes, mantém o essencial |
| Híbrido | System prompt + resumo + recentes | Equilibra bem |
Recursos de Memória vs. Contexto
Alguns produtos de IA adicionam recursos de memória além da janela de contexto:
Memória do ChatGPT
- Armazena fatos que você informa explicitamente
- Persiste entre conversas
- Usa armazenamento separado, não o contexto
Conhecimento Personalizado
- Documentos enviados pelo usuário
- Recuperados quando relevantes
- Técnica chamada RAG (Retrieval-Augmented Generation)
Esses são adicionais ao mecanismo básico de contexto, não substitutos.
Implicações Práticas
Por que a mesma pergunta recebe respostas diferentes
- Contexto diferente (histórico da conversa)
- Semente aleatória diferente na geração
- Versão diferente/horário do dia
Por que documentos longos são desafiadores
- Podem não caber no contexto
- Atenção do modelo é limitada
- Informações do início/fim são lembradas melhor que do meio
Por que instruções podem ser "esquecidas"
- Saem do contexto em conversas longas
- Instruções mais novas substituem as antigas
- System prompts ajudam, mas não são perfeitos
Principais Aprendizados
✅ Janela de contexto é a "memória de curto prazo" do LLM
✅ Toda a conversa é reenviada a cada mensagem
✅ Modelos diferentes têm limites de contexto muito distintos
✅ Estouro causa perda do início da conversa
✅ System prompts moldam o comportamento, mas usam espaço do contexto
✅ Recursos de memória são adicionais, não parte do funcionamento central do LLM
Reflita
- Por que um chatbot de suporte ao cliente pode "esquecer" seu número de pedido em uma conversa muito longa?
- Como saber sobre janelas de contexto pode ajudar você a obter melhores resultados de assistentes de IA?
- Por que a janela de contexto de 200K do Claude é valiosa para analisar documentos longos?
Próximos Passos
Teste seu entendimento de como os LLMs funcionam no Quiz do Módulo 2 e depois continue para o Módulo 3 para aprender sobre o uso prático dos LLMs.