Capítulo 3: Desafios de Segurança e Alinhamento
Jailbreaking
Tentativas de burlar medidas de segurança:
- Prompts de interpretação de papéis
- Codificação de solicitações nocivas
- Ataques em múltiplas etapas
- Manipulação de tokens
Estratégias de Defesa
- Filtragem de entrada: Detectar prompts maliciosos
- Filtragem de saída: Verificar o conteúdo gerado
- Treinamento robusto: Incluir exemplos adversariais
- Restrições constitucionais: Princípios incorporados
O Imposto do Alinhamento
Medidas de segurança podem reduzir a utilidade:
| Abordagem | Utilidade | Segurança |
|---|---|---|
| Não alinhado | Alta | Baixa |
| Superalinhado | Baixa | Alta |
| Bem alinhado | Alta | Alta |
Pesquisas em Andamento
- Interpretabilidade: Compreensão do raciocínio do modelo
- Red teaming: Testes sistemáticos de vulnerabilidades
- Escalonamento da supervisão: Supervisão humana à medida que os modelos crescem
- Aprendizado de valores: Inferência das preferências humanas
Principais Desafios
- Especificação: O que queremos que a IA faça?
- Robustez: Comportamento sob mudança de distribuição
- Garantia: Verificação das propriedades do modelo
- Governança: Quem decide os objetivos de alinhamento?