Capítulo 1: Modelos de Lenguaje Grandes (LLMs)
Comprendiendo la IA detrás de la generación de texto
Los Modelos de Lenguaje Grandes son la tecnología que impulsa ChatGPT, Claude y prácticamente todos los sistemas modernos de generación de texto. Entender qué son y cómo funcionan es fundamental para utilizarlos de manera efectiva.
¿Qué hace que un modelo de lenguaje sea "grande"?
Parámetros
El término "grande" en LLM se refiere principalmente al número de parámetros—los valores ajustables que almacenan lo que el modelo ha aprendido.
| Modelo | Parámetros | Tamaño relativo |
|---|---|---|
| BERT (2018) | 340 millones | Pequeño |
| GPT-2 (2019) | 1.5 mil millones | Mediano |
| GPT-3 (2020) | 175 mil millones | Grande |
| GPT-4 (2023) | ~1.7 billones | Masivo |
| Llama 3 (2024) | Hasta 405B | Grande |
Datos de entrenamiento
Grande también se refiere a los datos de entrenamiento—terabytes de texto provenientes de:
- Libros y publicaciones
- Sitios web y artículos
- Repositorios de código
- Conversaciones y foros
- Artículos académicos
Recursos de cómputo
El entrenamiento requiere miles de GPUs funcionando durante semanas o meses.
Cómo los LLMs generan texto
El proceso central: Predicción del siguiente token
En esencia, los LLMs predicen "qué viene después" dado el texto anterior:
El modelo no recupera información—genera texto basado en patrones aprendidos.
Token por token
La generación ocurre un token a la vez:
Paso 1: "The weather today is" → "sunny"
Paso 2: "The weather today is sunny" → "and"
Paso 3: "The weather today is sunny and" → "warm"
...continúa hasta completar
Capacidades clave de los LLMs
1. Comprensión del lenguaje natural
Los LLMs pueden:
- Analizar oraciones complejas
- Entender contexto y matices
- Identificar sentimiento y tono
- Extraer información clave
2. Generación de texto
Los LLMs pueden producir:
- Párrafos y ensayos coherentes
- Diferentes estilos y tonos
- Contenido técnico y creativo
- Múltiples idiomas
3. Seguir instrucciones
Los LLMs modernos pueden:
- Responder a solicitudes específicas
- Seguir instrucciones de varios pasos
- Adaptar el formato de salida
- Hacer preguntas aclaratorias
4. Aprendizaje en contexto
Los LLMs pueden:
- Aprender de ejemplos en el prompt
- Aplicar patrones a partir de pocos ejemplos
- Adaptarse sin reentrenamiento
Parámetros importantes para los usuarios
Temperature
Controla la aleatoriedad/creatividad:
| Temperature | Efecto | Mejor para |
|---|---|---|
| 0.0 - 0.3 | Muy predecible, enfocado | Contenido factual, código |
| 0.4 - 0.7 | Equilibrado | Escritura general |
| 0.8 - 1.0+ | Creativo, variado | Lluvia de ideas, escritura creativa |
Max Tokens
Establece la longitud máxima de la respuesta.
Top-P (Nucleus Sampling)
Alternativa a temperature—considera solo los tokens más probables que suman una probabilidad P.
Frequency/Presence Penalties
Reduce la repetición penalizando tokens que ya han aparecido.
Ventana de contexto: el límite de memoria
La ventana de contexto determina cuánta información puede "recordar" el modelo en una conversación.
Tamaños de ventana de contexto
| Modelo | Ventana de contexto | Palabras aproximadas |
|---|---|---|
| GPT-3.5 | 16K tokens | ~12,000 palabras |
| GPT-4 | 128K tokens | ~100,000 palabras |
| Claude 3 | 200K tokens | ~150,000 palabras |
| Gemini 1.5 | 1M+ tokens | ~750,000 palabras |
Por qué importa el contexto
- Conversaciones más largas se mantienen coherentes
- Puede analizar documentos completos
- Referenciar información previa
- Mejor comprensión de temas complejos
Capacidades vs. limitaciones
En qué destacan los LLMs ✅
-
Redacción y edición
- Generación de borradores
- Mejora de estilo
- Corrección gramatical
-
Resumir
- Documentos largos a puntos clave
- Notas de reuniones
- Artículos de investigación
-
Traducción
- Traducciones naturales
- Sensibilidad al contexto cultural
- Múltiples pares de idiomas
-
Asistencia en código
- Escritura de código
- Depuración
- Explicación
-
Análisis
- Revisión de documentos
- Análisis de sentimiento
- Identificación de patrones
Con qué tienen dificultades los LLMs ❌
-
Precisión factual
- Pueden inventar hechos
- Sin información en tiempo real
- Pueden confundir detalles
-
Razonamiento matemático
- Cálculos complejos poco confiables
- Acertijos lógicos con resultados variables
- Deben ser verificados
-
Memoria consistente
- Limitados a la ventana de contexto
- Sin memoria a largo plazo real
- Pueden contradecirse
-
Eventos actuales
- Fecha de corte de conocimiento
- Sin datos en tiempo real
- Puede estar desactualizado
-
Comprensión del mundo físico
- Razonamiento espacial débil
- Causalidad física poco clara
- Consecuencias en el mundo real
La importancia de los prompts
La calidad de su salida depende en gran medida de su entrada.
Características de un buen prompt
❌ Malo: "Escribe algo sobre IA"
✅ Bueno: "Escriba una introducción de blog de 300 palabras
explicando la inteligencia artificial a propietarios de
pequeñas empresas. Use un lenguaje sencillo, incluya
un ejemplo del mundo real y termine con una pregunta
para involucrar a los lectores."
Componentes del prompt
- Tarea: Lo que desea que se haga
- Contexto: Información de fondo
- Formato: Cómo debe verse la salida
- Ejemplos: Entradas/salidas de muestra
- Restricciones: Limitaciones o requisitos
Comprendiendo la "alucinación"
Los LLMs pueden generar información incorrecta con confianza.
Por qué sucede
- El modelo predice texto plausible, no hechos verificados
- Los datos de entrenamiento pueden contener errores
- El modelo no tiene forma de comprobar la verdad
Cómo mitigar
- Verifique los hechos importantes de forma independiente
- Solicite fuentes (aunque pueden ser inventadas)
- Úselo para borradores, no como autoridad final
- Cruce la información con fuentes confiables
Puntos clave
✅ Los LLMs son "grandes" por los parámetros, los datos de entrenamiento y el cómputo
✅ Generan texto prediciendo el siguiente token
✅ Temperature y otros parámetros controlan las características de la salida
✅ La ventana de contexto limita cuánto puede considerar el modelo
✅ Destacan en redacción, resumen y análisis
✅ Tienen dificultades con hechos, matemáticas e información en tiempo real
✅ La calidad del prompt afecta significativamente la calidad de la salida
Próximos pasos
Ahora comparemos las principales plataformas en Capítulo 2: ChatGPT, Claude y competidores.