Chapitre 1 : Série GPT (OpenAI)
Aperçu de l'évolution
| Modèle | Année | Paramètres | Innovation clé |
|---|---|---|---|
| GPT-1 | 2018 | 117M | Pré-entraînement + ajustement fin |
| GPT-2 | 2019 | 1.5B | Capacités zéro-shot |
| GPT-3 | 2020 | 175B | Apprentissage en contexte |
| GPT-3.5 | 2022 | ~175B | RLHF, ChatGPT |
| GPT-4 | 2023 | ~1.8T* | Multimodal, MoE* |
*Estimé
GPT-3 : Le point d'inflexion
GPT-3 a démontré que l'échelle conduit à des capacités émergentes :
# Exemple d'apprentissage few-shot
prompt = """
Q: Quelle est la capitale de la France ?
A: Paris
Q: Quelle est la capitale de l'Allemagne ?
A: Berlin
Q: Quelle est la capitale de l'Italie ?
A:"""
# Le modèle complète : "Rome"
Capacités de GPT-4
- Multimodal : Traite les images et le texte
- Contexte 128K : Gère des documents de la longueur d'un livre
- Raisonnement amélioré : Meilleur pour les tâches complexes
- Améliorations de la sécurité : Plus aligné avec les valeurs humaines
Points clés à retenir
Résumé
- L'évolution de GPT montre la puissance de l'échelle
- RLHF a rendu GPT-3.5/4 plus utile et aligné
- GPT-4 a introduit des capacités multimodales