Ressources
Collection organisée d'articles, de dépôts et de communautés pour un apprentissage continu.
Articles Fondamentaux
Architecture
- Attention Is All You Need (2017) - arxiv.org/abs/1706.03762
- L'article original sur le Transformer
- BERT (2018) - arxiv.org/abs/1810.04805
- Pré-entraînement bidirectionnel
- GPT-2 (2019) - openai.com/research/better-language-models
- Démonstration de l'évolutivité
Évolutivité & Entraînement
- Scaling Laws for Neural Language Models (2020) - arxiv.org/abs/2001.08361
- Lois d'échelle de Kaplan
- Training Compute-Optimal LLMs (2022) - arxiv.org/abs/2203.15556
- Article sur Chinchilla
- LLaMA (2023) - arxiv.org/abs/2302.13971
- Modèles de fondation ouverts
Alignement
- Training Language Models with Human Feedback (2022) - arxiv.org/abs/2203.02155
- InstructGPT / RLHF
- Constitutional AI (2022) - arxiv.org/abs/2212.08073
- Approche d'Anthropic
- DPO (2023) - arxiv.org/abs/2305.18290
- Optimisation directe des préférences
Efficacité
- LoRA (2021) - arxiv.org/abs/2106.09685
- Adaptation de faible rang
- Flash Attention (2022) - arxiv.org/abs/2205.14135
- Attention efficace en mémoire
- QLoRA (2023) - arxiv.org/abs/2305.14314
- Affinage efficace
Dépôts de Code
Bibliothèques
| Bibliothèque | Objectif | Lien |
|---|---|---|
| Transformers | Hub de modèles & inférence | github.com/huggingface/transformers |
| PEFT | Affinage efficace en paramètres | github.com/huggingface/peft |
| TRL | Entraînement avec RL | github.com/huggingface/trl |
| vLLM | Service à haut débit | github.com/vllm-project/vllm |
| LangChain | Applications LLM | github.com/langchain-ai/langchain |
| LiteLLM | API multi-fournisseurs | github.com/BerriAI/litellm |
Entraînement
| Dépôt | Objectif |
|---|---|
| DeepSpeed | Entraînement distribué |
| Accelerate | Entraînement distribué facile |
| Axolotl | Cadre d'affinage |
| llama.cpp | Inférence CPU |
Hubs de Modèles
- Hugging Face Hub: huggingface.co/models
- OpenAI API: platform.openai.com
- Anthropic API: console.anthropic.com
- Google AI Studio: ai.google.dev
Ressources d'Apprentissage
Cours
- Stanford CS224N: Traitement du langage naturel avec apprentissage profond
- Stanford CS324: Grands modèles de langage
- fast.ai: Apprentissage profond pratique
Blogs
- Blog Hugging Face: huggingface.co/blog
- Blog OpenAI: openai.com/blog
- Recherche Anthropic: anthropic.com/research
- The Gradient: thegradient.pub
Infolettres
- The Batch (deeplearning.ai)
- AI Weekly
- Import AI
Communautés
- r/MachineLearning: Communauté ML sur Reddit
- r/LocalLLaMA: LLMs open-source
- Hugging Face Discord: Discussion sur les modèles
- EleutherAI Discord: Recherche ouverte
- LangChain Discord: Applications LLM
Référentiels
| Référentiel | Type | Lien |
|---|---|---|
| MMLU | Connaissance | paperswithcode.com/dataset/mmlu |
| HumanEval | Code | github.com/openai/human-eval |
| GSM8K | Mathématiques | github.com/openai/grade-school-math |
| HellaSwag | Bon sens | rowanzellers.com/hellaswag |
| TruthfulQA | Véracité | github.com/sylinrl/TruthfulQA |
Outils
Développement
- Jupyter/Colab: Expérimentation
- Weights & Biases: Suivi des expériences
- MLflow: Cycle de vie ML
Déploiement
- Modal: GPU sans serveur
- Replicate: Hébergement de modèles
- RunPod: Infonuagique GPU
- Together AI: API d'inférence
Continuez à Apprendre
Le domaine évolue rapidement ! Suivez :
- Catégories ArXiv CS.CL et CS.LG
- Chercheurs ML sur Twitter/X
- Actes de conférences (NeurIPS, ICML, ACL, EMNLP)