Saltar al contenido principal

Capítulo 3: Red Teaming y Pruebas

¿Qué es el Red Teaming?​

Pruebas adversariales para encontrar vulnerabilidades antes del despliegue.

Categorías de Ataques​

  1. Inyección de prompt: Instrucciones ocultas
  2. Jailbreaking: Eludir medidas de seguridad
  3. Extracción de datos: Filtración de datos de entrenamiento
  4. Inducción de alucinaciones: Provocar afirmaciones falsas

Proceso de Red Team​

1. Definir el alcance y los objetivos
2. Reunir un equipo diverso
3. Idear vectores de ataque
4. Ejecutar los ataques
5. Documentar los hallazgos
6. Priorizar las correcciones
7. Verificar las mitigaciones

Red Teaming Automatizado​

def automated_red_team(model, attack_templates):
    vulnerabilities = []
    for template in attack_templates:
        for variation in generate_variations(template):
            response = model.generate(variation)
            if is_unsafe(response):
                vulnerabilities.append({
                    "attack": variation,
                    "response": response,
                    "severity": assess_severity(response)
                })
    return vulnerabilities

Divulgación Responsable​

  • Documentar las vulnerabilidades de forma privada
  • Reportar a los proveedores del modelo
  • Permitir tiempo para aplicar correcciones
  • Coordinar la divulgación pública