Capítulo 2: TRL y SFTTrainer

Entrenamiento simplificado para LLMs

TRL (Transformer Reinforcement Learning) proporciona entrenadores especializados para el fine-tuning.

---

Fundamentos de SFTTrainer

from trl import SFTTrainer
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    bf16=True,
    gradient_checkpointing=True,
    logging_steps=10,
    save_strategy="epoch",
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    tokenizer=tokenizer,
    dataset_text_field="text",  # or use formatting_func
    max_seq_length=512,
    packing=False,
)

trainer.train()

---

Formato del dataset

Opción 1: Campo de texto

# Dataset tiene la columna "text"
trainer = SFTTrainer(
    dataset_text_field="text",
    ...
)

Opción 2: Función de formateo

def formatting_func(example):
    return f"### Instruction:\n{example['instruction']}\n\n### Response:\n{example['response']}"

trainer = SFTTrainer(
    formatting_func=formatting_func,
    ...
)

---

Parámetros importantes

Parámetro	Propósito	Valor típico
max_seq_length	Longitud máxima de secuencia	512-2048
packing	Empaquetar múltiples ejemplos	False (más simple)
dataset_num_proc	Trabajadores de preprocesamiento	4-8

---

Callbacks y registro

from transformers import EarlyStoppingCallback

trainer = SFTTrainer(
    callbacks=[EarlyStoppingCallback(early_stopping_patience=3)],
    ...
)

# Para registro con W&B
training_args = TrainingArguments(
    report_to="wandb",
    ...
)

---

Continuar al Capítulo 3 →