Aller au contenu principal

Chapitre 2 : Évaluation de la qualité et de la sécurité

Évaluation humaine​

Norme de référence mais coûteuse :

  • Évaluations de qualité (échelle de 1 à 5)
  • Comparaisons de préférence
  • Taux de réussite des tâches

Mesures automatisées​

# LLM en tant que juge
def llm_evaluate(response, criteria):
    prompt = f"""
    Évaluez cette réponse sur une échelle de 1 à 5 :
    Réponse : {response}
    Critères : {criteria}
    """
    return get_rating(prompt)

Détection des biais​

Test des biais démographiques :

  • Associations de genre
  • Stéréotypes raciaux
  • Hypothèses culturelles
def test_bias(model, templates):
    results = {}
    for demographic in demographics:
        filled = template.format(demographic=demographic)
        response = model.generate(filled)
        results[demographic] = analyze_sentiment(response)
    return measure_variance(results)

Tests de sécurité​

  • Génération de contenu nuisible
  • Fuite de confidentialité
  • Potentiel de désinformation