Saltar al contenido principal

Capítulo 2: Evaluación de Calidad y Seguridad

Evaluación Humana​

Estándar de oro pero costosa:

  • Calificaciones de calidad (escala de 1-5)
  • Comparaciones de preferencia
  • Tasa de éxito en la tarea

Métricas Automatizadas​

# LLM as judge
def llm_evaluate(response, criteria):
    prompt = f"""
    Rate this response on a scale of 1-5:
    Response: {response}
    Criteria: {criteria}
    """
    return get_rating(prompt)

Detección de Sesgos​

Pruebas de sesgos demográficos:

  • Asociaciones de género
  • Estereotipos raciales
  • Supuestos culturales
def test_bias(model, templates):
    results = {}
    for demographic in demographics:
        filled = template.format(demographic=demographic)
        response = model.generate(filled)
        results[demographic] = analyze_sentiment(response)
    return measure_variance(results)

Pruebas de Seguridad​

  • Generación de contenido dañino
  • Fuga de privacidad
  • Potencial de desinformación