Capítulo 2: LLMs multimodales

Modelos de visión y lenguaje

Combinando comprensión visual con lenguaje:

Image → Vision Encoder → Image Tokens → LLM → Text Output

Modelos clave

Modelo	Empresa	Arquitectura
GPT-4V	OpenAI	Propietario
Gemini	Google	Multimodal nativo
LLaVA	Código abierto	CLIP + LLaMA
Claude 3	Anthropic	Con capacidad visual

Arquitectura de LLaVA

# Simplified LLaVA structure
class LLaVA:
    def __init__(self):
        self.vision_encoder = CLIP()  # Image understanding
        self.projection = Linear()     # Align dimensions
        self.llm = LLaMA()            # Language model
    
    def forward(self, image, text):
        image_features = self.vision_encoder(image)
        image_tokens = self.projection(image_features)
        combined = concat(image_tokens, text_tokens)
        return self.llm(combined)

Capacidades

• Descripción de imágenes
• Preguntas y respuestas visuales
• Comprensión de documentos
• Análisis de gráficos/diagramas

Desafíos

• Alucinaciones sobre el contenido de la imagen
• Comprensión espacial limitada
• Altos requerimientos computacionales

---

← Capítulo 1Capítulo 3 →