Capítulo 3: Ajuste por instrucciones

¿Qué es el ajuste por instrucciones?

Entrenar modelos para seguir instrucciones en lenguaje natural.

Formato del conjunto de datos

{
  "instruction": "Summarize the following text",
  "input": "Long text to summarize...",
  "output": "Concise summary..."
}

Conjuntos de datos populares

Conjunto de datos	Tamaño	Fuente
Alpaca	52K	Generado por GPT-4
Dolly	15K	Escrito por humanos
OpenAssistant	161K	Colaborativo
FLAN	1.8M	Tareas académicas

Plantilla de entrenamiento

def format_instruction(example):
    return f"""### Instruction:
{example['instruction']}

### Input:
{example['input']}

### Response:
{example['output']}"""

Impacto en la calidad

Mejores datos de instrucciones → Mejor seguimiento de instrucciones:

• Instrucciones diversas
• Respuestas de alta calidad
• Formato consistente
• Variedad de tareas

---

← Capítulo 2Quiz →