الفصل 2: الـ Tokens والتسعير
فهم اقتصاد نماذج LLM
استخدام واجهات API لنماذج LLM يكلف مالاً، وفهم كيفية عمل التسعير يساعدك على وضع الميزانية والتحسين. مفتاح فهم التكاليف؟ الـ Tokens.
ما هي الـ Tokens؟
الـ token هو الوحدة الأساسية التي تعالجها نماذج LLM — تقريباً كلمة أو جزء كلمة.
أمثلة على Tokens
| النص | الـ Tokens | العدد |
|---|---|---|
| "Hello" | [Hello] | 1 |
| "Hello!" | [Hello] [!] | 2 |
| "ChatGPT" | [Chat] [G] [PT] | 3 |
| "unbelievable" | [un] [believ] [able] | 3 |
| "こんにちは" | [こんに] [ち] [は] | 3 |
قواعد تقريبية
- 1 token ≈ 4 أحرف في الإنجليزية
- 1 token ≈ ¾ كلمة
- 100 tokens ≈ 75 كلمة
- صفحة واحدة ≈ 500-750 tokens
كيف يعمل التسعير
الدفع حسب الـ Token
تحاسب معظم واجهات API لنماذج LLM لكل 1,000 أو 1,000,000 token:
| النموذج | سعر المدخل (لكل 1M) | سعر المخرج (لكل 1M) |
|---|---|---|
| GPT-3.5-turbo | 0.50 دولار | 1.50 دولار |
| GPT-4 Turbo | 10 دولارات | 30 دولاراً |
| GPT-4o | 5 دولارات | 15 دولاراً |
| Claude 3 Haiku | 0.25 دولار | 1.25 دولار |
| Claude 3 Sonnet | 3 دولارات | 15 دولاراً |
| Claude 3 Opus | 15 دولاراً | 75 دولاراً |
الأسعار حتى أواخر 2024؛ راجع مواقع المزوّدين للأسعار الحالية.
Tokens المدخل مقابل Tokens المخرج
| النوع | ما هو | يكلف عادة |
|---|---|---|
| Tokens المدخل | الـ prompt + السياق | أقل |
| Tokens المخرج | رد الذكاء الاصطناعي | أكثر |
لماذا الفرق؟ توليد المخرج يتطلب حساباً أكثر من قراءة المدخل.
تقدير التكلفة
مثال حسابي
السيناريو: روبوت دعم عملاء يستخدم GPT-4 Turbo
| البند | الـ Tokens |
|---|---|
| الـ System prompt | 200 |
| تاريخ المحادثة (متوسط) | 500 |
| سؤال المستخدم | 50 |
| إجمالي المدخل | 750 |
| رد الذكاء الاصطناعي (متوسط) | 200 |
| إجمالي المخرج | 200 |
التكلفة لكل تفاعل:
- المدخل: 750 tokens × 10 دولارات/1M = 0.0075 دولار
- المخرج: 200 tokens × 30 دولاراً/1M = 0.006 دولار
- الإجمالي: نحو 0.01 دولار لكل محادثة
عند 10,000 محادثة/شهر: نحو 100 دولار
المستويات المجانية والحدود
منتجات المستهلكين
| المنتج | المستوى المجاني |
|---|---|
| ChatGPT | GPT-3.5 بلا حدود |
| Claude | رسائل يومية محدودة |
| Gemini | استعلامات محدودة |
المستويات المجانية لـ API
| المزوّد | أرصدة مجانية |
|---|---|
| OpenAI | 5-18 دولاراً للحسابات الجديدة |
| Anthropic | 5 دولارات للحسابات الجديدة |
| Google AI | مستوى مجاني سخي |
استراتيجيات تحسين التكلفة
1. اختر النموذج المناسب
| تعقيد المهمة | النموذج الموصى به | السبب |
|---|---|---|
| مهام بسيطة | GPT-3.5, Haiku | رخيص وسريع |
| استدلال معقّد | GPT-4, Sonnet | جودة أفضل |
| مهام حرجة | GPT-4, Opus | أعلى قدرة |
2. حسّن الـ Prompts
سيئ (مُهدر):
"I would like you to please help me by writing a professional email response to my colleague John about rescheduling our meeting that was supposed to happen on Tuesday but I need to move it to Wednesday if possible, and please make it sound professional and friendly at the same time."
جيد (فعّال):
"Write a professional, friendly email to John rescheduling Tuesday's meeting to Wednesday."
3. استخدم التخزين المؤقت (Caching)
إذا طُرح السؤال نفسه كثيراً، خزّن الرد مؤقتاً بدلاً من استدعاء API مرة أخرى.
4. حدّ طول المخرج
اضبط max_tokens لمنع ردود طويلة بلا داعٍ.
5. التجميع (Batching)
اجمع عدة طلبات صغيرة في طلبات أكبر أقل عدداً عندما يكون ذلك ممكناً.
فهم حدود المعدّل
ما هي حدود المعدّل؟
قيود على عدد الطلبات أو الـ tokens التي يمكنك استخدامها في فترة زمنية.
حدود شائعة
| نوع الحد | المستوى المجاني | المستوى المدفوع |
|---|---|---|
| طلبات/دقيقة | 3-20 | 60-500+ |
| Tokens/دقيقة | 10K-40K | 60K-300K+ |
| Tokens/يوم | 150K-200K | غالباً بلا حدود |
أخطاء حد المعدّل
عندما تبلغ الحدود:
- تحصل على خطأ "429 Too Many Requests"
- انتظر وأعد المحاولة
- أو رقِّ مستواك
مقارنة اقتصاد المزوّدين
OpenAI
- المزايا: تسعير قابل للتوقع، توثيق جيد
- العيوب: قد يصبح مكلفاً عند المقياس الكبير
Anthropic
- المزايا: تسعير تنافسي، Haiku رخيص جداً
- العيوب: خيارات نماذج أقل
Google
- المزايا: مستوى مجاني سخي جداً
- العيوب: التسعير قد يكون معقّداً
المصدر المفتوح (Llama)
- المزايا: مجاني للتشغيل (لا تكاليف API)
- العيوب: يتطلب عتادك أو استضافتك
أمثلة تكاليف واقعية
روبوت كاتب مدونة شخصية
- 10 مقالات/أسبوع × 1,000 كلمة لكل منها
- باستخدام GPT-3.5 turbo
- التكلفة: نحو 0.50-1 دولار/شهر
دعم عملاء (شركة متوسطة)
- 1,000 محادثة/يوم
- باستخدام Claude Haiku
- التكلفة: نحو 50-100 دولار/شهر
تحليل مستندات مؤسسي
- 10,000 مستند/يوم
- باستخدام GPT-4 للدقة
- التكلفة: نحو 3,000-5,000 دولار/شهر
تكاليف خفية
لا تنسَ:
| التكلفة | الوصف |
|---|---|
| وقت التطوير | بناء التكامل وصيانته |
| المراقبة | تتبع الاستخدام والأخطاء |
| ضمان الجودة | مراجعة المخرجات |
| البنية التحتية | خوادم، قواعد بيانات، إلخ |
النقاط الأساسية
✅ الـ tokens وحدات الفوترة — نحو ¾ كلمة لكل منها
✅ Tokens المدخل أرخص من Tokens المخرج
✅ اختيار النموذج يؤثر على التكلفة بشكل كبير
✅ حسّن الـ prompts لتقليل استهلاك الـ tokens
✅ المستويات المجانية جيدة للتعلّم والمشاريع الصغيرة
✅ النماذج مفتوحة المصدر تستبدل تكاليف API بتكاليف الاستضافة
فكّر في ذلك
- لماذا تعتقد أن tokens المخرج تكلف أكثر من tokens المدخل؟
- كيف تقرر بين نموذج رخيص وآخر غالٍ لمشروع جديد؟
- ماذا قد يحدث لو لم تراقب استخدام API الخاص بك؟
الخطوات التالية
الآن نستكشف ما لا تستطيع نماذج LLM فعله في الفصل 3: القيود والهلوسة.