Capítulo 2: Límites de tokens y ventanas de contexto
Evolución de la longitud de contexto
| Modelo | Año | Contexto |
|---|---|---|
| GPT-3 | 2020 | 2K |
| GPT-3.5 | 2022 | 4K/16K |
| Claude 2 | 2023 | 100K |
| GPT-4 Turbo | 2023 | 128K |
| Claude 3 | 2024 | 200K |
| Gemini 1.5 | 2024 | 1M+ |
Manejo de documentos largos
Estrategias de fragmentación
def chunk_text(text, max_tokens=4000, overlap=200):
tokens = tokenizer.encode(text)
chunks = []
for i in range(0, len(tokens), max_tokens - overlap):
chunk = tokens[i:i + max_tokens]
chunks.append(tokenizer.decode(chunk))
return chunks
RoPE para contexto largo
Rotary Position Embedding permite la extrapolación de longitud:
- LLaMA utiliza RoPE
- La información de posición está en rotación, no en suma
Puntos clave
consejo
- Las ventanas de contexto han crecido drásticamente (2K → 1M+)
- La fragmentación con solapamiento preserva el contexto
- RoPE permite un mejor manejo de secuencias largas