Chapitre 3 : Modèles Open Source
Pourquoi l'Open Source ?
- Confidentialité : Exécutez localement, les données ne quittent jamais votre système
- Coût : Pas de frais API par jeton
- Personnalisation : Ajustez pour des cas d'utilisation spécifiques
- Contrôle : Pas de dépendances externes
Modèles Open Source Populaires
| Modèle | Créateur | Tailles | Points forts |
|---|---|---|---|
| Llama 3 | Meta | 8B, 70B | Usage général, bien documenté |
| Mistral | Mistral AI | 7B | Efficace, performance élevée |
| Mixtral | Mistral AI | 8x7B | Mélange d'experts, polyvalent |
| Phi-2/3 | Microsoft | 2.7B-3.8B | Petit mais capable |
Différences de Prompting
Les modèles open source peuvent nécessiter :
- Formats de prompt spécifiques (par exemple,
[INST]...[/INST]pour Llama) - Attentes ajustées pour les modèles plus petits
- Instructions plus explicites
Exemple de Format Llama
[INST] Vous êtes un assistant utile.
Écrivez un haïku sur la programmation. [/INST]
Options de Déploiement
- Ollama : Déploiement local facile
- vLLM : Service prêt pour la production
- Hugging Face : Infonuagique ou local avec transformers
- llama.cpp : Inférence CPU efficace
Points Clés
Résumé
- Open source = confidentialité, économies, contrôle
- Différents modèles nécessitent différents formats de prompt
- Les modèles plus petits nécessitent des instructions plus claires
- Choisissez la méthode de déploiement en fonction de l'échelle