Capítulo 3: Desafíos de Seguridad y Alineamiento
Jailbreaking
Intentos de eludir las medidas de seguridad:
- Prompts de juego de roles
- Codificación de solicitudes dañinas
- Ataques en varios pasos
- Manipulación de tokens
Estrategias de defensa
- Filtrado de entrada: Detectar prompts maliciosos
- Filtrado de salida: Revisar el contenido generado
- Entrenamiento robusto: Incluir ejemplos adversariales
- Restricciones constitucionales: Principios incorporados
El impuesto del alineamiento
Las medidas de seguridad pueden reducir la utilidad:
| Enfoque | Utilidad | Seguridad |
|---|---|---|
| No alineado | Alta | Baja |
| Sobre-alineado | Baja | Alta |
| Bien alineado | Alta | Alta |
Investigación en curso
- Interpretabilidad: Comprender el razonamiento del modelo
- Red teaming: Pruebas sistemáticas de vulnerabilidades
- Supervisión escalable: Supervisión humana a medida que los modelos crecen
- Aprendizaje de valores: Inferir las preferencias humanas
Desafíos clave
- Especificación: ¿Qué queremos que haga la IA?
- Robustez: Comportamiento ante cambios de distribución
- Garantía: Verificación de las propiedades del modelo
- Gobernanza: ¿Quién decide los objetivos de alineamiento?