Chapitre 2 : LLM multimodaux

Modèles Vision-Langage

Combinaison de la compréhension visuelle avec le langage :

Image → Vision Encoder → Image Tokens → LLM → Text Output

Modèles clés

Modèle	Entreprise	Architecture
GPT-4V	OpenAI	Propriétaire
Gemini	Google	Multimodal natif
LLaVA	Open source	CLIP + LLaMA
Claude 3	Anthropic	Compatible vision

Architecture de LLaVA

# Structure simplifiée de LLaVA
class LLaVA:
    def __init__(self):
        self.vision_encoder = CLIP()  # Compréhension d'image
        self.projection = Linear()     # Aligner les dimensions
        self.llm = LLaMA()            # Modèle de langage
    
    def forward(self, image, text):
        image_features = self.vision_encoder(image)
        image_tokens = self.projection(image_features)
        combined = concat(image_tokens, text_tokens)
        return self.llm(combined)

Capacités

• Description d'image
• Q&R visuelle
• Compréhension de documents
• Analyse de graphiques/diagrammes

Défis

• Hallucination sur le contenu des images
• Compréhension spatiale limitée
• Exigences élevées en calcul

---

← Chapitre 1Chapitre 3 →