Módulo 1: Introducción a los Modelos de Lenguaje de Gran Tamaño
Descripción general del módulo
Este módulo introductorio proporciona una base integral para comprender los Modelos de Lenguaje de Gran Tamaño (LLM). Exploraremos qué hace que estos modelos sean "grandes", rastrearemos su evolución desde enfoques anteriores y revisaremos el panorama actual de modelos disponibles.
Objetivos de aprendizaje
Al finalizar este módulo, usted podrá:
- ✅ Definir qué constituye un Modelo de Lenguaje de Gran Tamaño
- ✅ Explicar las características clave que distinguen a los LLM de modelos anteriores
- ✅ Describir la evolución histórica desde RNN hasta Transformers
- ✅ Identificar los principales proveedores de LLM y sus ofertas
- ✅ Comparar modelos de código abierto frente a modelos propietarios
Contenidos del módulo
Capítulo 1: ¿Qué son los Modelos de Lenguaje de Gran Tamaño?
Explore la definición, las características de escala y las capacidades emergentes de los LLM. Comprenda qué los diferencia de los modelos de lenguaje más pequeños.
Capítulo 2: Historia - De las RNN a los Transformers
Rastree la evolución de los modelos neuronales de lenguaje desde las Redes Neuronales Recurrentes, pasando por las LSTM, hasta la revolucionaria arquitectura Transformer.
Capítulo 3: El panorama actual de los LLM
Revise el ecosistema actual de LLM, incluyendo a los principales actores como OpenAI, Anthropic, Google y Meta, así como la dinámica comunidad de código abierto.
Vista previa de conceptos clave
| Concepto | Definición |
|---|---|
| Modelo de Lenguaje de Gran Tamaño | Red neuronal con miles de millones de parámetros entrenada en grandes corpus de texto |
| Capacidades emergentes | Habilidades que surgen solo a gran escala, no presentes en modelos más pequeños |
| Transformer | Arquitectura basada en self-attention, que permite el procesamiento en paralelo |
| Pre-entrenamiento | Entrenamiento inicial en grandes cantidades de datos de texto no etiquetados |
| Leyes de escalado | Relación predecible entre el tamaño del modelo, los datos y el rendimiento |
Lecturas recomendadas
Antes de comenzar este módulo, considere revisar:
- Attention Is All You Need - El artículo original sobre Transformers
- Language Models are Few-Shot Learners - Artículo sobre GPT-3
Estimación de tiempo
- Lectura: 2-3 horas
- Cuestionario: 30-45 minutos
- Total: 3-4 horas