Capítulo 3: Estudios de Ablación

Comprender qué funciona y por qué

Los estudios de ablación prueban sistemáticamente los componentes para entender su contribución.

---

Qué ablar

Componente	Variaciones a probar
LoRA Rank	4, 8, 16, 32, 64
Módulos objetivo	Mínimo → Completo
Learning Rate	Escala logarítmica
Tamaño de datos	100, 500, 1K, 5K
Épocas	1, 2, 3, 5

---

Marco para estudios de ablación

def run_ablation(base_config, param_name, param_values):
    """Run ablation for a single parameter."""
    results = []
    
    for value in param_values:
        config = base_config.copy()
        config[param_name] = value
        
        # Train
        model = train_model(config)
        
        # Evaluate
        score = evaluate_model(model)
        
        results.append({
            param_name: value,
            "score": score,
        })
    
    return results

---

Presentación de resultados

LoRA Rank	Puntuación de la tarea	Tiempo de entrenamiento
4	85.2%	45 min
8	87.1%	50 min
16	88.3%	55 min
32	88.5%	65 min
64	88.4%	80 min

Conclusión: El rango 16 ofrece el mejor equilibrio entre calidad y eficiencia.

---

Mejores prácticas

1. Cambie solo una cosa a la vez
2. Utilice la misma semilla para reproducibilidad
3. Ejecute múltiples semillas para los resultados finales
4. Documente todo
5. Concéntrese en diferencias prácticas

---

Continuar al Quiz →