الفصل 2: حدود الرموز ونوافذ السياق
تطور طول السياق
| النموذج | السنة | السياق |
|---|---|---|
| GPT-3 | 2020 | 2K |
| GPT-3.5 | 2022 | 4K/16K |
| Claude 2 | 2023 | 100K |
| GPT-4 Turbo | 2023 | 128K |
| Claude 3 | 2024 | 200K |
| Gemini 1.5 | 2024 | 1M+ |
التعامل مع المستندات الطويلة
استراتيجيات التقسيم
def chunk_text(text, max_tokens=4000, overlap=200):
tokens = tokenizer.encode(text)
chunks = []
for i in range(0, len(tokens), max_tokens - overlap):
chunk = tokens[i:i + max_tokens]
chunks.append(tokenizer.decode(chunk))
return chunks
RoPE للسياق الطويل
تمكن التضمين الدوار للموقع من الاستقراء الطولي:
- يستخدم LLaMA تقنية RoPE
- معلومات الموقع في الدوران، وليس الإضافة
النقاط الرئيسية
تلميح
- نوافذ السياق نمت بشكل كبير (2K → 1M+)
- التقسيم مع التداخل يحافظ على السياق
- RoPE تمكن من التعامل الأفضل مع التسلسلات الطويلة