Chapitre 3 : Le paysage des LLM aujourd'hui

Introduction

Le paysage des LLM a évolué rapidement depuis 2020, avec les grandes entreprises technologiques, les laboratoires de recherche et les communautés open-source contribuant tous à un écosystème de plus en plus diversifié. Ce chapitre passe en revue les principaux acteurs et leurs offres.

Principaux fournisseurs de LLM

OpenAI

L'entreprise qui a déclenché la révolution moderne des LLM.

Modèles clés :

Modèle	Sortie	Contexte	Capacités
GPT-3.5	2022	4K/16K	Chat, code, raisonnement
GPT-4	2023	8K/32K/128K	Multimodal, raisonnement avancé
GPT-4o	2024	128K	Optimisé, plus rapide

Forces :

Capacités de pointe dans l'industrie
Écosystème API étendu
Améliorations continues

Considérations :

Poids propriétaires/fermés
Coûts d'utilisation
Dépendance à l'API

# Exemple d'API OpenAI
from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {"role": "system", "content": "Vous êtes un assistant utile."},
        {"role": "user", "content": "Expliquez les transformateurs en une phrase."}
    ]
)
print(response.choices[0].message.content)

Anthropic

Fondée par d'anciens chercheurs d'OpenAI, axée sur la sécurité de l'IA.

Modèles clés :

Modèle	Sortie	Contexte	Capacités
Claude 2	2023	100K	Long contexte, sécurité
Claude 3 Haiku	2024	200K	Rapide, efficace
Claude 3 Sonnet	2024	200K	Équilibré
Claude 3 Opus	2024	200K	Le plus performant

Différenciateurs :

Approche IA constitutionnelle
Alignement exceptionnel sur la sécurité
Fenêtres de contexte très longues

# Exemple d'API Anthropic
import anthropic

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-3-sonnet-20240229",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Qu'est-ce que l'IA constitutionnelle ?"}
    ]
)
print(message.content)

Google DeepMind

Combinant l'expertise de Google Brain et DeepMind.

Modèles clés :

Modèle	Sortie	Contexte	Capacités
PaLM 2	2023	8K-32K	Multilingue, raisonnement
Gemini Pro	2023	32K	Multimodal
Gemini Ultra	2024	32K+	Capacités de pointe
Gemini 1.5	2024	1M+	Contexte extrême

Forces :

Ressources de calcul massives
Multimodal dès le départ
Intégration avec les services Google

Meta AI

Leader dans le développement de LLM open-source.

Modèles clés :

Modèle	Sortie	Paramètres	Licence
Llama	2023	7B-65B	Recherche uniquement
Llama 2	2023	7B-70B	Commercial
Llama 3	2024	8B-70B+	Commercial
Code Llama	2023	7B-34B	Commercial

Impact :

Accès démocratisé aux LLM
Écosystème de fine-tuning activé
Compétitif avec les modèles fermés

Écosystème open-source

Le mouvement open-source

Les LLM open-source sont passés de curiosités de recherche à des alternatives prêtes pour la production :

: GPT-2 publié (1.5B)
: BLOOM publié (176B) - Premier modèle ouvert 100B+
: Fuite de Llama → explosion communautaire
: Mistral 7B égale GPT-3.5 sur certains benchmarks
: Les modèles ouverts approchent GPT-4 sur de nombreuses tâches

Modèles ouverts clés

Mistral AI :

# Tailles des modèles Mistral
mistral_models = {
    "Mistral-7B": {
        "params": "7B",
        "context": 8192,
        "specialty": "Usage général, efficace"
    },
    "Mixtral-8x7B": {
        "params": "46.7B (12.9B actifs)",
        "context": 32768,
        "specialty": "Mixture of Experts"
    },
    "Mistral Large": {
        "params": "Inconnu",
        "context": 32768,
        "specialty": "Modèle de pointe"
    }
}

Autres modèles ouverts notables :

Modèle	Organisation	Paramètres	Spécialité
Falcon	TII	7B-180B	Multilingue
MPT	MosaicML	7B-30B	Compatible commercialement
Qwen	Alibaba	7B-72B	Multilingue (Chinois)
Yi	01.AI	6B-34B	Architecture efficace
Phi	Microsoft	1.3B-3B	Petit mais performant

Hugging Face Hub

Le dépôt central pour les modèles ouverts :

from transformers import AutoModelForCausalLM, AutoTokenizer

# Charger n'importe quel modèle depuis le Hub
model_name = "mistralai/Mistral-7B-Instruct-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Générer du texte
inputs = tokenizer("Expliquez les LLM :", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

Ouvert vs. Fermé : Compromis

Modèles fermés/propriétaires

Avantages :

✅ Capacité la plus élevée (généralement)
✅ Accès API simple
✅ Pas d'infrastructure nécessaire
✅ Mises à jour régulières

Inconvénients :

❌ Pas de contrôle de fine-tuning
❌ Coûts d'utilisation
❌ Préoccupations de confidentialité des données
❌ Verrouillage fournisseur

Modèles à poids ouverts

Avantages :

✅ Contrôle total
✅ Déploiement local/privé
✅ Fine-tuning personnalisé
✅ Pas de coûts par token

Inconvénients :

❌ Infrastructure requise
❌ Capacité généralement inférieure
❌ Mises à jour autogérées
❌ Expertise technique nécessaire

Cadre de décision

def choose_model_type(requirements):
    if requirements.get("max_capability"):
        return "Fermé (GPT-4, Claude 3 Opus)"
    
    if requirements.get("data_privacy") or requirements.get("custom_training"):
        return "Ouvert (Llama, Mistral)"
    
    if requirements.get("low_latency") and requirements.get("high_volume"):
        return "Ouvert (auto-hébergé)"
    
    if requirements.get("quick_prototype"):
        return "Fermé (n'importe quelle API majeure)"
    
    return "Évaluer les deux options"

Modèles spécialisés

Modèles axés sur le code

Modèle	Source	Capacités
Code Llama	Meta	Complétion de code, remplissage
StarCoder	BigCode	Génération de code
DeepSeek Coder	DeepSeek	Codage multilingue
Copilot	GitHub/OpenAI	Intégration IDE

Modèles spécifiques au domaine

Domaine	Modèles d'exemple
Médical	Med-PaLM, BioMistral
Juridique	Dérivés de Legal-BERT
Finance	BloombergGPT, FinGPT
Scientifique	Galactica, SciBERT

Dynamiques du marché

Tendances des prix

# Tarification approximative (par 1M tokens, à partir de 2024)
pricing = {
    "GPT-4 (8K)": {"input": "$30", "output": "$60"},
    "GPT-4 Turbo": {"input": "$10", "output": "$30"},
    "GPT-3.5 Turbo": {"input": "$0.50", "output": "$1.50"},
    "Claude 3 Opus": {"input": "$15", "output": "$75"},
    "Claude 3 Sonnet": {"input": "$3", "output": "$15"},
    "Claude 3 Haiku": {"input": "$0.25", "output": "$1.25"},
    "Mistral Large": {"input": "$8", "output": "$24"},
    "Open Models": "Coûts d'infrastructure uniquement",
}

Impact de la concurrence

Le paysage concurrentiel a entraîné :

Améliorations rapides des capacités
Baisse des prix (GPT-4 Turbo 3x moins cher que GPT-4)
Fenêtres de contexte plus longues (4K → 128K → 1M+)
Meilleures alternatives ouvertes

Choisir le bon modèle

Critères d'évaluation

criteria = {
    "capability": "Quelle est sa performance sur vos tâches ?",
    "cost": "Tarification par token ou coûts d'infrastructure",
    "latency": "Exigences en matière de temps de réponse",
    "context": "Combien de texte devez-vous traiter ?",
    "privacy": "Les données peuvent-elles quitter votre environnement ?",
    "customization": "Avez-vous besoin de fine-tuning ?",
    "reliability": "Exigences en matière de disponibilité et de cohérence",
}

Évaluer votre cas d'utilisation

Testez toujours sur VOTRE cas d'utilisation spécifique :

def evaluate_model(model, test_cases):
    results = []
    for case in test_cases:
        response = model.generate(case["prompt"])
        score = evaluate_response(response, case["expected"])
        results.append({
            "case": case["name"],
            "score": score,
            "latency": response.latency,
            "tokens": response.token_count
        })
    return aggregate_results(results)

Tendances futures

À surveiller

Continuer à évoluer - Les modèles deviennent plus grands et plus performants
Améliorations de l'efficacité - Modèles plus petits égalant les plus grands
Multimodalité - Texte, images, audio, vidéo dans un seul modèle
Spécialisation - Prolifération des modèles spécifiques au domaine
Parité open-source - Réduire l'écart avec les modèles fermés

Points clés

Résumé

OpenAI, Anthropic, Google, Meta sont les principaux acteurs
Les modèles open-source sont de plus en plus compétitifs
Des compromis existent entre capacité, contrôle et coût
Les modèles spécialisés servent des domaines spécifiques
Le paysage évolue rapidement - restez à jour

À venir

Maintenant que nous comprenons le paysage des LLM, nous sommes prêts à plonger plus profondément dans l'architecture qui alimente ces modèles. Le module 2 explorera en détail l'architecture Transformer, en commençant par le mécanisme d'attention.

← Chapitre 2 : Histoire

Quiz Module 1 →

Introduction​

Principaux fournisseurs de LLM​

OpenAI​

Anthropic​

Google DeepMind​

Meta AI​

Écosystème open-source​

Le mouvement open-source​

Modèles ouverts clés​

Hugging Face Hub​

Ouvert vs. Fermé : Compromis​

Modèles fermés/propriétaires​

Modèles à poids ouverts​

Cadre de décision​

Modèles spécialisés​

Modèles axés sur le code​

Modèles spécifiques au domaine​

Dynamiques du marché​

Tendances des prix​

Impact de la concurrence​

Choisir le bon modèle​

Critères d'évaluation​

Évaluer votre cas d'utilisation​

Tendances futures​

À surveiller​

Points clés​

À venir​

Introduction

Principaux fournisseurs de LLM

OpenAI

Anthropic

Google DeepMind

Meta AI

Écosystème open-source

Le mouvement open-source

Modèles ouverts clés

Hugging Face Hub

Ouvert vs. Fermé : Compromis

Modèles fermés/propriétaires

Modèles à poids ouverts

Cadre de décision

Modèles spécialisés

Modèles axés sur le code

Modèles spécifiques au domaine

Dynamiques du marché

Tendances des prix

Impact de la concurrence

Choisir le bon modèle

Critères d'évaluation

Évaluer votre cas d'utilisation

Tendances futures

À surveiller

Points clés

À venir