Capítulo 1: Série GPT (OpenAI)
Visão Geral da Evolução
| Modelo | Ano | Parâmetros | Inovação Principal |
|---|---|---|---|
| GPT-1 | 2018 | 117M | Pré-treinamento + fine-tuning |
| GPT-2 | 2019 | 1,5B | Capacidades zero-shot |
| GPT-3 | 2020 | 175B | Aprendizagem em contexto |
| GPT-3.5 | 2022 | ~175B | RLHF, ChatGPT |
| GPT-4 | 2023 | ~1,8T* | Multimodal, MoE* |
*Estimado
GPT-3: O Ponto de Inflexão
O GPT-3 demonstrou que o aumento de escala leva a capacidades emergentes:
# Few-shot learning example
prompt = """
Q: What is the capital of France?
A: Paris
Q: What is the capital of Germany?
A: Berlin
Q: What is the capital of Italy?
A:"""
# Model completes: "Rome"
Capacidades do GPT-4
- Multimodal: Processa imagens e texto
- Contexto de 128K: Lida com documentos do tamanho de livros
- Raciocínio aprimorado: Melhor em tarefas complexas
- Melhorias de segurança: Mais alinhado com valores humanos
Principais Pontos
Summary
- A evolução do GPT mostra o poder do scaling
- O RLHF tornou o GPT-3.5/4 mais útil e alinhado
- O GPT-4 introduziu capacidades multimodais