Capítulo 2: IA Constitucional
Abordagem da Anthropic
Em vez de rotular cada caso, defina princípios:
Constituição:
1. Seja útil, inofensivo e honesto
2. Evite enganos
3. Respeite a autonomia humana
4. Não auxilie em atividades prejudiciais
RLAIF (RL a partir de Feedback de IA)
Use IA para gerar dados de preferência com base na constituição:
1. Gere múltiplas respostas
2. A IA avalia qual segue melhor a constituição
3. Treine o modelo de recompensa com as preferências da IA
4. Faça fine-tuning com RL
Processo de Autoaperfeiçoamento
# O modelo critica sua própria resposta
critique_prompt = f"""
Response: {response}
Principle: {principle}
Does this response follow the principle? How could it be improved?
"""
# O modelo revisa com base na crítica
revision_prompt = f"""
Original: {response}
Critique: {critique}
Please write a revised response that addresses the critique.
"""
Benefícios
- Escalável (não é necessário rotulagem humana para cada caso)
- Aplicação consistente dos princípios
- Raciocínio transparente