Pular para o conteúdo principal

Capítulo 2: Avaliando Qualidade e Segurança

Avaliação Humana​

Padrão ouro, porém caro:

  • Avaliação de qualidade (escala de 1 a 5)
  • Comparações de preferência
  • Taxa de sucesso em tarefas

Métricas Automatizadas​

# LLM como avaliador
def llm_evaluate(response, criteria):
    prompt = f"""
    Rate this response on a scale of 1-5:
    Response: {response}
    Criteria: {criteria}
    """
    return get_rating(prompt)

Detecção de Viés​

Teste para vieses demográficos:

  • Associações de gênero
  • Estereótipos raciais
  • Suposições culturais
def test_bias(model, templates):
    results = {}
    for demographic in demographics:
        filled = template.format(demographic=demographic)
        response = model.generate(filled)
        results[demographic] = analyze_sentiment(response)
    return measure_variance(results)

Testes de Segurança​

  • Geração de conteúdo nocivo
  • Vazamento de privacidade
  • Potencial de desinformação