Glosario de Términos de Fine-Tuning de LLM
Un glosario completo de más de 150 términos utilizados en el fine-tuning de LLM, organizados alfabéticamente.
A
Adapter
Un pequeño módulo de red neuronal añadido a un modelo preentrenado que contiene parámetros entrenables. Durante el fine-tuning, solo se actualizan los parámetros del adapter mientras que el modelo base permanece congelado.
Formato Alpaca
Un formato de conjunto de datos popular para el instruction tuning que consiste en campos de instrucción, entrada y salida. Nombrado así por el modelo Alpaca de Stanford.
Mecanismo de Atención
El mecanismo central en los transformers que permite al modelo ponderar la importancia de diferentes partes de la entrada al procesar cada posición.
AutoModelForCausalLM
Clase de Hugging Face que carga automáticamente la arquitectura de modelo apropiada para causal language modeling (generación de texto).
B
Backpropagation
El algoritmo utilizado para calcular los gradientes durante el entrenamiento propagando los errores hacia atrás a través de la red.
Modelo Base
El modelo fundacional preentrenado antes de aplicar cualquier fine-tuning. Ejemplos incluyen Llama, Mistral y Falcon.
Tamaño de Lote (Batch Size)
El número de ejemplos de entrenamiento procesados juntos en una pasada hacia adelante/atrás. Lotes más grandes requieren más memoria pero pueden ser más estables.
BFloat16 (bf16)
Un formato de punto flotante de 16 bits que mantiene el mismo rango que float32 pero con menor precisión. A menudo preferido para entrenamiento sobre float16.
bitsandbytes
Una biblioteca que permite la cuantización eficiente en 4 y 8 bits para cargar y entrenar grandes modelos de lenguaje.
C
Catastrophic Forgetting
El fenómeno en el que un modelo pierde conocimientos previamente aprendidos al entrenarse con nuevos datos. Es una preocupación importante en el fine-tuning.
Causal Language Modeling (CLM)
Un objetivo de entrenamiento donde el modelo predice el siguiente token basándose solo en los tokens anteriores. Usado en modelos tipo GPT.
Chat Template
Una especificación de formato para convertir conversaciones en tokens que el modelo espera, incluyendo tokens especiales para diferentes roles.
Checkpoint
Una instantánea guardada de los pesos del modelo durante el entrenamiento, que permite la recuperación y continuación del entrenamiento.
Constitutional AI (CAI)
Una técnica de seguridad en IA que entrena modelos para seguir un conjunto de principios o una "constitución" para un comportamiento ético.
D
Dataset Sharding
División de un conjunto de datos grande en fragmentos más pequeños para entrenamiento distribuido o para reducir el uso de memoria.
DeepSpeed
Una biblioteca de optimización de deep learning de Microsoft que permite el entrenamiento eficiente de modelos grandes mediante varias técnicas.
Direct Preference Optimization (DPO)
Una alternativa más simple a RLHF que optimiza directamente el modelo usando datos de preferencias sin un modelo de recompensa separado.
Double Quantization
Una técnica en QLoRA que cuantiza las constantes de cuantización en sí mismas, reduciendo aún más el uso de memoria.
Dropout
Una técnica de regularización que pone aleatoriamente algunas activaciones en cero durante el entrenamiento para prevenir el sobreajuste.
E
Embedding Layer
La capa que convierte los IDs de tokens en representaciones vectoriales densas que el modelo puede procesar.
Época (Epoch)
Un recorrido completo a través de todo el conjunto de datos de entrenamiento.
Evaluation Loss
La pérdida calculada en un conjunto de validación reservado para monitorear el sobreajuste durante el entrenamiento.
F
Fine-Tuning
El proceso de entrenar adicionalmente un modelo preentrenado en un conjunto de datos específico para adaptarlo a una tarea o dominio particular.
Flash Attention
Una implementación eficiente de atención que reduce el uso de memoria y mejora la velocidad al evitar la materialización de la matriz completa de atención.
Float16 (fp16)
Un formato de punto flotante de 16 bits que utiliza la mitad de la memoria de float32. Puede causar inestabilidad numérica en algunos casos.
Float32 (fp32)
Precisión estándar de punto flotante de 32 bits, que ofrece alta precisión pero requiere más memoria.
Parámetros Congelados (Frozen Parameters)
Parámetros del modelo que no se actualizan durante el entrenamiento. En PEFT, la mayoría de los parámetros están congelados.
Fine-Tuning Completo (Full Fine-Tuning)
Enfoque tradicional de fine-tuning donde se actualizan todos los parámetros del modelo durante el entrenamiento.
G
GGUF
Un formato de archivo para almacenar modelos cuantizados, comúnmente usado con llama.cpp para inferencia eficiente en CPU.
Acumulación de Gradientes (Gradient Accumulation)
Técnica para simular tamaños de lote más grandes acumulando gradientes durante varias pasadas hacia adelante antes de actualizar los pesos.
Gradient Checkpointing
Técnica para ahorrar memoria que recomputa activaciones durante la pasada hacia atrás en lugar de almacenarlas.
Gradient Clipping
Limitar la magnitud de los gradientes durante el entrenamiento para prevenir gradientes explosivos.
H
Alucinación (Hallucination)
Cuando un modelo genera información que suena plausible pero es incorrecta o inventada.
Hugging Face Hub
Una plataforma para compartir y descubrir modelos preentrenados, conjuntos de datos y demostraciones.
Hiperparámetro (Hyperparameter)
Un valor de configuración establecido antes de comenzar el entrenamiento (por ejemplo, tasa de aprendizaje, tamaño de lote) en contraste con los parámetros aprendidos.
I
IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations)
Un método PEFT que aprende a escalar activaciones en lugar de añadir nuevos pesos, usando aún menos parámetros que LoRA.
Inferencia (Inference)
Uso de un modelo entrenado para generar predicciones sobre nuevas entradas.
Instruction Tuning
Fine-tuning de un modelo para seguir instrucciones entrenándolo con pares de instrucción-respuesta.
INT4/INT8
Formatos de cuantización de enteros de 4 y 8 bits usados para reducir el tamaño del modelo y el uso de memoria.
K
Knowledge Distillation
Entrenamiento de un modelo "estudiante" más pequeño para imitar el comportamiento de un modelo "maestro" más grande.
KV Cache
Caché de claves y valores que almacena las claves y valores de atención calculados para acelerar la generación autoregresiva.
L
Suavizado de Etiquetas (Label Smoothing)
Técnica de regularización que suaviza la distribución de probabilidad objetivo para evitar la sobreconfianza.
Tasa de Aprendizaje (Learning Rate)
El tamaño del paso para las actualizaciones de gradiente durante la optimización. Hiperparámetro crítico para un entrenamiento exitoso.
Programación de Tasa de Aprendizaje (Learning Rate Schedule)
Estrategia para ajustar la tasa de aprendizaje durante el entrenamiento (por ejemplo, warmup, decaimiento, cosine annealing).
Linear Probe
Fine-tuning solo de una cabeza de clasificación lineal sobre características congeladas.
LoRA (Low-Rank Adaptation)
Un método PEFT que añade matrices de descomposición de bajo rango entrenables a pesos congelados, reduciendo drásticamente los parámetros entrenables.
LoRA Alpha
Un hiperparámetro de escala en LoRA que controla la magnitud de la adaptación.
LoRA Rank
El rango de las matrices de bajo rango en LoRA. Rangos más altos aumentan la capacidad pero también los parámetros.
Función de Pérdida (Loss Function)
Una función que mide la diferencia entre las predicciones del modelo y la verdad real, guiando la optimización.
M
Masked Language Modeling (MLM)
Un objetivo de entrenamiento donde se enmascaran tokens aleatorios y el modelo debe predecirlos. Usado en modelos tipo BERT.
MergeKit
Una herramienta para fusionar múltiples modelos o adapters fine-tuned en un solo modelo.
Entrenamiento de Precisión Mixta (Mixed Precision Training)
Entrenamiento usando tanto float16 como float32 para reducir memoria manteniendo la estabilidad numérica.
Fusión de Modelos (Model Merging)
Combinación de varios modelos o adapters en uno solo, a menudo promediando pesos o usando métodos más sofisticados como TIES o DARE.
Entrenamiento Multi-GPU (Multi-GPU Training)
Distribución del entrenamiento entre varias GPUs usando paralelismo de datos o de modelo.
N
NF4 (4-bit NormalFloat)
Un formato de cuantización diseñado para tener igual número de valores en cada bin de cuantización para pesos distribuidos normalmente.
Nucleus Sampling (Top-p)
Estrategia de decodificación que muestrea del conjunto más pequeño de tokens cuya probabilidad acumulada excede p.
O
ONNX
Formato Open Neural Network Exchange para interoperabilidad y despliegue de modelos.
Optimizador (Optimizer)
Algoritmo para actualizar los pesos del modelo durante el entrenamiento (por ejemplo, Adam, AdamW, SGD).
ORPO (Odds Ratio Preference Optimization)
Un método de optimización de preferencias que combina fine-tuning supervisado y alineación de preferencias en una sola etapa.
Sobreajuste (Overfitting)
Cuando un modelo memoriza los datos de entrenamiento en lugar de aprender patrones generales, lo que lleva a una mala generalización.
P
PagedAttention
Un mecanismo de atención usado en vLLM que gestiona la memoria de manera más eficiente mediante paginación.
Conteo de Parámetros (Parameter Count)
El número total de pesos entrenables en un modelo, a menudo medido en miles de millones para LLMs.
PEFT (Parameter-Efficient Fine-Tuning)
Una familia de métodos que ajustan solo un pequeño subconjunto de parámetros mientras mantienen la mayoría del modelo congelado.
Perplejidad (Perplexity)
Una métrica que mide qué tan bien un modelo predice texto. Menor perplejidad indica mejor desempeño.
Datos de Preferencia (Preference Data)
Datos de entrenamiento consistentes en pares o rankings de respuestas, usados en RLHF, DPO y métodos relacionados.
Prefix Tuning
Un método PEFT que antepone "tokens virtuales" entrenables a la entrada sin modificar los pesos del modelo.
Pre-entrenamiento (Pre-training)
Entrenamiento inicial de un modelo en datos a gran escala antes del fine-tuning específico de la tarea.
Prompt Tuning
Similar a prefix tuning, aprendizaje de prompts suaves que se anteponen a las entradas.
Q
QLoRA (Quantized LoRA)
Combinación de cuantización en 4 bits con LoRA para permitir el fine-tuning de modelos grandes en hardware de consumo.
Cuantización (Quantization)
Reducción de la precisión de los pesos del modelo (por ejemplo, de float16 a int4) para reducir memoria y acelerar la inferencia.
R
Rango (Rank) en LoRA
La dimensionalidad de las matrices de bajo rango. Controla la relación entre capacidad y eficiencia.
Regularización (Regularization)
Técnicas para prevenir el sobreajuste, como dropout, weight decay o early stopping.
Reinforcement Learning from Human Feedback (RLHF)
Un enfoque de entrenamiento que utiliza preferencias humanas para entrenar un modelo de recompensa y luego usa RL para optimizar el modelo de lenguaje.
Modelo de Recompensa (Reward Model)
Un modelo entrenado para predecir preferencias humanas, usado en RLHF para proporcionar señal de entrenamiento.
S
Temperatura de Muestreo (Sampling Temperature)
Un parámetro que controla la aleatoriedad en la generación. Valores altos producen salidas más diversas pero menos coherentes.
Autoatención (Self-Attention)
Mecanismo de atención donde queries, keys y values provienen de la misma secuencia.
Longitud de Secuencia (Sequence Length)
El número de tokens en una secuencia de entrada o salida. Limitado por la arquitectura del modelo y la memoria.
Formato ShareGPT
Un formato de conjunto de datos derivado de conversaciones compartidas de ChatGPT, usando estructura de mensajes basada en roles.
SFTTrainer
Clase TRL de Hugging Face para el fine-tuning supervisado de modelos de lenguaje.
SLERP (Spherical Linear Interpolation)
Un método para interpolar suavemente entre pesos de modelos durante la fusión.
Soft Prompt
Vectores de embedding aprendidos que se anteponen a las entradas en lugar de prompts de texto discretos.
Decodificación Especulativa (Speculative Decoding)
Técnica que utiliza un modelo borrador más pequeño para proponer tokens, verificados por el modelo grande para una generación más rápida.
Fine-Tuning Supervisado (Supervised Fine-Tuning, SFT)
Fine-tuning estándar usando pares de entrada-salida etiquetados con pérdida de entropía cruzada.
Prompt de Sistema (System Prompt)
Instrucciones proporcionadas para establecer el comportamiento y contexto del modelo en una conversación.
T
Módulos Objetivo (Target Modules)
En LoRA, las matrices de pesos específicas (por ejemplo, q_proj, v_proj) donde se aplican adaptaciones de bajo rango.
Temperatura (Temperature)
Ver Temperatura de Muestreo.
TIES (TrIm, Elect Sign & Merge)
Un método de fusión de modelos que maneja conflictos de parámetros mejor que el simple promedio.
Tokenizador (Tokenizer)
Componente que convierte texto a IDs de tokens y viceversa para entrada/salida del modelo.
Top-k Sampling
Estrategia de decodificación que solo considera los k tokens más probables siguientes.
Parámetros Entrenables (Trainable Parameters)
Parámetros que se actualizan durante el entrenamiento, en contraste con los parámetros congelados.
Transfer Learning
Uso del conocimiento aprendido en una tarea para mejorar el desempeño en otra tarea relacionada.
Transformer
La arquitectura de red neuronal subyacente a los LLM modernos, basada en mecanismos de autoatención.
TRL (Transformer Reinforcement Learning)
Biblioteca de Hugging Face que provee entrenadores para SFT, RLHF, DPO y otros métodos de entrenamiento.
V
Conjunto de Validación (Validation Set)
Una porción reservada de datos usada para evaluar el desempeño del modelo durante el entrenamiento.
vLLM
Un motor de inferencia de alto rendimiento para LLMs que utiliza PagedAttention.
VRAM (Video RAM)
Memoria de GPU usada para almacenar pesos del modelo, activaciones y gradientes durante el entrenamiento.
W
Warmup
Aumento gradual de la tasa de aprendizaje al inicio del entrenamiento para mejorar la estabilidad.
Decaimiento de Pesos (Weight Decay)
Técnica de regularización que penaliza pesos grandes para prevenir el sobreajuste.
Weights & Biases (W&B)
Una plataforma popular para seguimiento de experimentos, registro de modelos y visualización.
Z
Zero Redundancy Optimizer (ZeRO)
Optimización de memoria de DeepSpeed que particiona estados del optimizador, gradientes y parámetros entre dispositivos.
Zero-Shot
Uso de un modelo para una tarea sin ningún entrenamiento o ejemplos específicos de la tarea.
Tarjeta de Referencia Rápida
| Concepto | Información Clave |
|---|---|
| LoRA Rank | Valores típicos: 8, 16, 32, 64 |
| LoRA Alpha | A menudo se establece en 2x el rank |
| Learning Rate | 1e-5 a 1e-4 para fine-tuning |
| Batch Size | 4-32 dependiendo de la VRAM |
| Epochs | 1-5 para la mayoría de tareas de fine-tuning |
| QLoRA Memory | ~4-6GB para modelos de 7B |
| Full FT Memory | ~28GB+ para modelos de 7B |