إنتقل إلى المحتوى الرئيسي

الفصل 1: دمج النصوص، الصور، الصوت

ثورة الوسائط المتعددة​

يمكن للذكاء الاصطناعي متعدد الوسائط معالجة وتوليد أنواع متعددة من المحتوى في وقت واحد - قفزة كبيرة نحو الذكاء الاصطناعي الذي يدرك العالم بشكل يشبه البشر.

ما هو الذكاء الاصطناعي متعدد الوسائط؟​

التعريف: أنظمة الذكاء الاصطناعي التي يمكنها فهم وتوليد أنواع متعددة من المحتوى، غالبًا بشكل متكامل.

أنواع الذكاء الاصطناعي متعدد الوسائط​

إدخال متعدد الوسائط​

معالجة أنواع متعددة من المدخلات:

  • صورة + نص → نص (وصف الصورة)
  • صوت + نص → نص (نسخ مع السياق)
  • فيديو + نص → نص (تحليل الفيديو)

إخراج متعدد الوسائط​

توليد أنواع متعددة من المخرجات:

  • نص → صورة + صوت
  • موجّه → فيديو مع صوت

متعدد الوسائط ثنائي الاتجاه​

كل من المدخلات والمخرجات في وسائط متعددة.

كيف تعمل نماذج الوسائط المتعددة​

نهج الهندسة المعمارية​

1. مشفرات منفصلة، مساحة مشتركة

2. الترميز الموحد تحويل جميع الوسائط إلى رموز:

  • نص → رموز نصية
  • صورة → رموز الصور (قطع)
  • صوت → رموز صوتية

3. الانتباه المتقاطع تنتبه الوسائط المختلفة لبعضها البعض.

القدرات الحالية​

ما يعمل بشكل جيد ✅​

  • فهم الصور ووصفها
  • تحليل الوثائق (نص + تخطيط)
  • الإجابة على الأسئلة البصرية
  • نسخ الصوت مع السياق
  • فهم الفيديو البسيط

القيود الحالية ❌​

  • الاستدلال المكاني الدقيق
  • الفهم الزمني المعقد
  • معالجة الفيديو في الوقت الحقيقي
  • التزامن المثالي بين الصوت والصورة
  • تتبع الأشخاص/الأشياء المتعددة

تركيبات المدخلات/المخرجات​

المدخلالمخرجمثال على الاستخدام
صورةنصوصف هذه الصورة
صورة + نصنصالإجابة على الأسئلة حول الصورة
نصصورة + نصتوليد قصة مصورة
صوتنصنسخ مع تحديد المتحدث
فيديونصتلخيص محتوى الفيديو
نصصوتتوليد بودكاست مع صور

التقنيات الرئيسية​

CLIP (التدريب المسبق التبايني للغة والصورة)​

  • يربط النصوص والصور
  • أساس للعديد من أنظمة الوسائط المتعددة
  • يمكن من البحث النصي عن الصور

Vision Transformers (ViT)​

  • تطبيق بنية المحولات على الصور
  • تقسيم الصور إلى قطع
  • معالجة مثل الرموز النصية

Whisper​

  • تحويل الصوت إلى نص
  • متعدد اللغات
  • مقاوم للضوضاء

التطبيقات العملية​

1. فهم الوثائق​

  • معالجة ملفات PDF مع النصوص والصور
  • استخراج المعلومات من النماذج
  • تحليل الرسوم البيانية والمخططات

2. الوصول​

  • وصف الصور للمكفوفين
  • نسخ الصوت لضعاف السمع
  • توليد نص بديل تلقائيًا

3. إنشاء المحتوى​

  • مقالات مصورة
  • عروض تقديمية متعددة الوسائط
  • مواد تسويقية

4. التحليل​

  • مراقبة وسائل التواصل الاجتماعي (نص + صور)
  • تحليل لقطات الأمان
  • تفسير الصور الطبية

النقاط الرئيسية​

✅ يعالج الذكاء الاصطناعي متعدد الوسائط أنواعًا متعددة من المحتوى معًا

✅ يجمع بين فهم الرؤية واللغة والصوت

✅ يمكن من تفاعل أكثر طبيعية بين الإنسان والذكاء الاصطناعي

✅ النماذج الحالية تتفوق في مهام الصورة + النص

✅ تكامل الفيديو والصوت يتحسن بسرعة

الخطوات التالية​

استكشاف قدرات الرؤية في الفصل 2: رؤية GPT-4 وما بعدها.