Capítulo 2: LLMs Multimodais

Modelos Visão-Linguagem

Combinando compreensão visual com linguagem:

Image → Vision Encoder → Image Tokens → LLM → Text Output

Principais Modelos

Modelo	Empresa	Arquitetura
GPT-4V	OpenAI	Proprietária
Gemini	Google	Multimodal nativo
LLaVA	Open source	CLIP + LLaMA
Claude 3	Anthropic	Com suporte a visão

Arquitetura do LLaVA

# Estrutura simplificada do LLaVA
class LLaVA:
    def __init__(self):
        self.vision_encoder = CLIP()  # Compreensão de imagem
        self.projection = Linear()     # Alinhar dimensões
        self.llm = LLaMA()            # Modelo de linguagem
    
    def forward(self, image, text):
        image_features = self.vision_encoder(image)
        image_tokens = self.projection(image_features)
        combined = concat(image_tokens, text_tokens)
        return self.llm(combined)

Capacidades

• Descrição de imagens
• Perguntas e respostas visuais
• Compreensão de documentos
• Análise de gráficos/diagramas

Desafios

• Alucinação sobre o conteúdo da imagem
• Compreensão espacial limitada
• Altos requisitos computacionais

---

← Capítulo 1Capítulo 3 →