إنتقل إلى المحتوى الرئيسي

الفصل 2: النماذج اللغوية متعددة الوسائط

نماذج الرؤية واللغة​

دمج الفهم البصري مع اللغة:

Image → Vision Encoder → Image Tokens → LLM → Text Output

النماذج الرئيسية​

النموذجالشركةالبنية
GPT-4VOpenAIملكية خاصة
GeminiGoogleمتعدد الوسائط أصلي
LLaVAمفتوح المصدرCLIP + LLaMA
Claude 3Anthropicمدعوم بالرؤية

بنية LLaVA​

# بنية LLaVA المبسطة
class LLaVA:
    def __init__(self):
        self.vision_encoder = CLIP()  # فهم الصورة
        self.projection = Linear()     # محاذاة الأبعاد
        self.llm = LLaMA()            # نموذج اللغة
    
    def forward(self, image, text):
        image_features = self.vision_encoder(image)
        image_tokens = self.projection(image_features)
        combined = concat(image_tokens, text_tokens)
        return self.llm(combined)

القدرات​

  • وصف الصور
  • الأسئلة والأجوبة البصرية
  • فهم المستندات
  • تحليل الرسوم البيانية/المخططات

التحديات​

  • الهلوسة حول محتوى الصورة
  • فهم مكاني محدود
  • متطلبات حسابية عالية