Saltar al contenido principal

Capítulo 2: GPT-4 Vision y Más Allá

IA que Comprende Imágenes​

Los modelos de visión y lenguaje representan un gran avance en las capacidades de la IA. Estos sistemas pueden analizar, describir y razonar sobre contenido visual.

Principales Modelos de Visión y Lenguaje​

ModeloProveedorFortalezas
GPT-4V/GPT-4oOpenAIPropósito general, precisión
Claude 3 (Opus/Sonnet)AnthropicAnálisis detallado, seguridad
Gemini Pro/UltraGoogleMultimodal nativo, contexto
LLaVACódigo AbiertoPersonalizable, local

GPT-4 Vision (GPT-4V/GPT-4o)​

Capacidades​

  • Analizar fotos e imágenes
  • Leer y comprender documentos
  • Interpretar gráficos y diagramas
  • Describir contenido visual
  • Responder preguntas sobre imágenes
  • Varias imágenes en una sola consulta

Ejemplos de Uso​

Usuario: [Sube imagen de recibo]
"Enumere este recibo y calcule si el total es correcto"

IA: Analiza el recibo, lista los artículos, verifica los cálculos

Acceso​

  • ChatGPT Plus (20 USD/mes)
  • Acceso por API (pago por imagen)

Claude 3 Vision​

Capacidades​

  • Análisis detallado de imágenes
  • Comprensión de documentos
  • Razonamiento sólido sobre contenido visual
  • Respuestas enfocadas en la seguridad
  • Contexto de 200K tokens con imágenes

Fortalezas​

  • Especialmente bueno con gráficos y diagramas
  • Descripciones exhaustivas y detalladas
  • Precaución con contenido sensible

Gemini Vision​

Capacidades​

  • Entrenamiento multimodal nativo
  • Contexto largo (más de 1M tokens)
  • Comprensión de video
  • Integración de audio
  • Integración con el ecosistema de Google

Características Únicas​

  • Procesa videos más largos
  • Combina con búsqueda
  • Integración con Google Lens

Aplicaciones Prácticas​

1. Análisis de Documentos​

Caso de uso: Extraer información de documentos complejos

Entrada: Foto de un contrato comercial
Solicitud: "Resuma los términos clave e identifique 
cualquier cláusula inusual"

2. Comprensión de Visualización de Datos​

Caso de uso: Interpretar gráficos y diagramas

Entrada: Captura de pantalla de gráfico financiero
Solicitud: "¿Qué tendencias observa? ¿Qué podría 
explicar la caída en el Q3?"

3. Accesibilidad​

Caso de uso: Describir imágenes para personas con discapacidad visual

Entrada: Foto de una red social
Solicitud: "Describa esta imagen en detalle para 
alguien que no puede verla"

4. Apoyo Educativo​

Caso de uso: Ayuda con el aprendizaje visual

Entrada: Diagrama de un libro de texto
Solicitud: "Explique qué muestra este diagrama 
y cómo funciona el proceso"

5. Revisión de Código​

Caso de uso: Analizar capturas de pantalla de código

Entrada: Captura de pantalla de mensaje de error
Solicitud: "¿Qué significa este error y 
cómo puedo solucionarlo?"

Mejores Prácticas​

Para Mejores Resultados​

1. Calidad de la Imagen

  • Use imágenes claras y bien iluminadas
  • Asegúrese de que el texto sea legible
  • Evite la compresión excesiva

2. Prompts Específicos

❌ "¿Qué es esto?"
✅ "Identifique todas las plantas en esta foto del jardín 
    y estime su estado de salud"

3. Preguntas Focalizadas

  • Pregunte una cosa a la vez
  • Divida análisis complejos en pasos

4. Proporcione Contexto

"Esta es una foto del tablero de mi auto. 
Se encendió la luz de advertencia. ¿Qué podría indicar?"

Limitaciones a Tener en Cuenta​

No Puede Confiablemente:​

  • Leer texto muy pequeño
  • Identificar individuos específicos
  • Determinar ubicaciones precisas a partir de imágenes
  • Contar objetos con precisión en multitudes
  • Analizar imágenes médicas para diagnóstico
  • Identificar contenido en tiempo real o en vivo

Restricciones Éticas:​

  • No identifica personas por su rostro
  • Análisis limitado de grabaciones de vigilancia
  • Precaución con contenido sensible

Combinando Visión con Otras Capacidades​

Conversaciones Visuales de Varios Turnos​

Turno 1: "Aquí hay una imagen de mi habitación"
Turno 2: "¿Qué muebles debería agregar en la esquina vacía?"
Turno 3: "Muéstreme cómo se vería eso" (descripción en texto)

Visión + Código​

Subida: Captura de pantalla de diseño de interfaz
Solicitud: "Escriba código React para implementar esta interfaz"

Visión + Análisis​

Subida: Fotos de hojas de plantas
Solicitud: "Identifique cualquier síntoma de enfermedad y 
sugiera tratamiento"

Puntos Clave​

✅ GPT-4V, Claude 3 y Gemini ofrecen sólidas capacidades de visión

✅ Ideales para documentos, gráficos, análisis y descripciones

✅ Imágenes claras y prompts específicos mejoran los resultados

✅ Existen limitaciones para texto pequeño, conteo e identificación

✅ Combine visión con otras capacidades de IA para flujos de trabajo potentes

Próximos Pasos​

Explore hacia dónde se dirige todo esto en Capítulo 3: El Futuro de los Sistemas Multimodales.