إنتقل إلى المحتوى الرئيسي

الفصل 2: رؤية GPT-4 وما بعدها

الذكاء الاصطناعي الذي يفهم الصور​

تمثل نماذج الرؤية واللغة تقدمًا كبيرًا في قدرات الذكاء الاصطناعي. يمكن لهذه الأنظمة تحليل ووصف والتفكير في المحتوى البصري.

نماذج الرؤية واللغة الرئيسية​

النموذجالمزودنقاط القوة
GPT-4V/GPT-4oOpenAIمتعدد الأغراض، الدقة
Claude 3 (Opus/Sonnet)Anthropicتحليل مفصل، الأمان
Gemini Pro/UltraGoogleمتعدد الوسائط أصلي، السياق
LLaVAمفتوح المصدرقابل للتخصيص، محلي

رؤية GPT-4 (GPT-4V/GPT-4o)​

القدرات​

  • تحليل الصور والرسومات
  • قراءة وفهم الوثائق
  • تفسير الرسوم البيانية
  • وصف المحتوى البصري
  • الإجابة على الأسئلة حول الصور
  • صور متعددة في استعلام واحد

أمثلة على الاستخدام​

المستخدم: [يرفع صورة إيصال]
"قم بتفصيل هذا الإيصال واحسب ما إذا كان الإجمالي صحيحًا"

الذكاء الاصطناعي: يحلل الإيصال، يسرد العناصر، يتحقق من الحساب

الوصول​

  • ChatGPT Plus (20 دولارًا شهريًا)
  • الوصول عبر API (الدفع لكل صورة)

رؤية Claude 3​

القدرات​

  • تحليل مفصل للصور
  • فهم الوثائق
  • التفكير القوي حول المرئيات
  • استجابات واعية بالأمان
  • سياق 200K رمز مع الصور

نقاط القوة​

  • جيد بشكل خاص في الرسوم البيانية والمخططات
  • أوصاف شاملة ومفصلة
  • حذر مع المحتوى الحساس

رؤية Gemini​

القدرات​

  • تدريب متعدد الوسائط أصلي
  • سياق طويل (1M+ رموز)
  • فهم الفيديو
  • تكامل الصوت
  • تكامل مع نظام Google

الميزات الفريدة​

  • معالجة مقاطع الفيديو الطويلة
  • الجمع مع البحث
  • تكامل Google Lens

التطبيقات العملية​

1. تحليل الوثائق​

حالة الاستخدام: استخراج المعلومات من الوثائق المعقدة

المدخلات: صورة لعقد عمل
الطلب: "لخص الشروط الرئيسية وحدد أي بنود غير عادية"

2. فهم تصور البيانات​

حالة الاستخدام: تفسير الرسوم البيانية والمخططات

المدخلات: لقطة شاشة لمخطط مالي
الطلب: "ما الاتجاهات التي تراها؟ ما الذي قد يفسر الانخفاض في الربع الثالث؟"

3. الوصول​

حالة الاستخدام: وصف الصور للمكفوفين

المدخلات: صورة من وسائل التواصل الاجتماعي
الطلب: "وصف هذه الصورة بالتفصيل لشخص لا يمكنه رؤيتها"

4. الدعم التعليمي​

حالة الاستخدام: المساعدة في التعلم البصري

المدخلات: مخطط من كتاب دراسي
الطلب: "اشرح ما يظهره هذا المخطط وكيف تعمل العملية"

5. مراجعة الكود​

حالة الاستخدام: تحليل لقطات شاشة الكود

المدخلات: لقطة شاشة لرسالة خطأ
الطلب: "ماذا يعني هذا الخطأ وكيف يمكنني إصلاحه؟"

أفضل الممارسات​

للحصول على نتائج أفضل​

1. جودة الصورة

  • استخدم صورًا واضحة ومضاءة جيدًا
  • تأكد من أن النص قابل للقراءة
  • تجنب الضغط المفرط

2. موجّهات محددة

❌ "ما هذا؟"
✅ "حدد جميع النباتات في صورة الحديقة هذه 
    وقدر صحتها"

3. أسئلة مركزة

  • اسأل عن شيء واحد في كل مرة
  • قسم التحليل المعقد إلى خطوات

4. توفير السياق

"هذه صورة لعداد سيارتي. 
ظهرت ضوء التحذير. ماذا قد يشير؟"

القيود التي يجب فهمها​

لا يمكن الاعتماد عليها:​

  • قراءة النصوص الصغيرة جدًا
  • تحديد الأفراد المحددين
  • تحديد المواقع الدقيقة من الصور
  • عد الأشياء بدقة في الحشود
  • تحليل الصور الطبية للتشخيص
  • تحديد المحتوى في الوقت الحقيقي أو المباشر

القيود الأخلاقية:​

  • لن يحدد الأفراد بالوجه
  • تحليل محدود لقطات المراقبة
  • حذر مع المحتوى الحساس

الجمع بين الرؤية والقدرات الأخرى​

محادثات بصرية متعددة الأدوار​

الدور 1: "إليك صورة لغرفتي"
الدور 2: "ما الأثاث الذي يجب أن أضيفه إلى الزاوية الفارغة؟"
الدور 3: "أرني كيف قد يبدو ذلك" (وصف نصي)

الرؤية + الكود​

رفع: لقطة شاشة لتصميم واجهة المستخدم
الطلب: "اكتب كود React لتنفيذ هذه الواجهة"

الرؤية + التحليل​

رفع: صور لأوراق النباتات
الطلب: "حدد أي أعراض مرضية واقترح العلاج"

النقاط الرئيسية​

✅ تقدم GPT-4V وClaude 3 وGemini قدرات قوية في الرؤية

✅ الأفضل للوثائق والرسوم البيانية والتحليل والأوصاف

✅ الصور الواضحة والموجّهات المحددة تحسن النتائج

✅ توجد قيود للنصوص الصغيرة والعد والتحديد

✅ الجمع بين الرؤية والقدرات الأخرى للذكاء الاصطناعي لعمليات قوية

الخطوات التالية​

استكشف إلى أين يتجه كل هذا في الفصل 3: مستقبل الأنظمة متعددة الوسائط.