الفصل 1: سلسلة GPT (OpenAI)
نظرة عامة على التطور
| النموذج | السنة | المعاملات | الابتكار الرئيسي |
|---|---|---|---|
| GPT-1 | 2018 | 117M | التدريب المسبق + الضبط الدقيق |
| GPT-2 | 2019 | 1.5B | قدرات التعلّم الصفري |
| GPT-3 | 2020 | 175B | التعلم في السياق |
| GPT-3.5 | 2022 | ~175B | RLHF، ChatGPT |
| GPT-4 | 2023 | ~1.8T* | متعدد الوسائط، MoE* |
*تقديري
GPT-3: نقطة التحول
أظهر GPT-3 أن التوسع يؤدي إلى قدرات ناشئة:
# مثال على التعلم بعدد قليل من الأمثلة
prompt = """
Q: ما هي عاصمة فرنسا؟
A: باريس
Q: ما هي عاصمة ألمانيا؟
A: برلين
Q: ما هي عاصمة إيطاليا؟
A:"""
# يكمل النموذج: "روما"
قدرات GPT-4
- متعدد الوسائط: يعالج الصور والنصوص
- سياق 128K: يتعامل مع مستندات بطول الكتب
- تحسين التفكير: أفضل في المهام المعقدة
- تحسينات الأمان: أكثر توافقًا مع القيم الإنسانية
النقاط الرئيسية
ملخص
- تطور GPT يظهر قوة التوسع
- RLHF جعل GPT-3.5/4 أكثر فائدة وتوافقًا
- GPT-4 قدم قدرات متعددة الوسائط