Programme de Formation
9
module(s)
Durée totale : 1200
Maîtriser la famille GPT — causal language modeling, stratégies de décodage, prompt engineering et exécution locale avec Ollama. 9 leçons pour générer du texte professionnellement.
Module 1 : Causal language modeling
90
Découvrir le causal language modeling, la différence avec le MLM de BERT et comprendre comment la génération auto-régressive produit du texte token après token.
Module 2 : GPT-2 : le premier modèle génératif grand public
120
Explorer l'architecture GPT-2, charger le modèle avec la bibliothèque transformers et générer vos premiers textes en comprenant chaque paramètre de la méthode generate.
Module 3 : De GPT-2 à Llama et Mistral
120
Suivre l'évolution des modèles decoder-only depuis GPT-2 jusqu'à Llama, Mistral et Gemma, et maîtriser les trois innovations clés : RoPE, GQA et SwiGLU.
Module 4 : Stratégies de décodage : greedy, beam, top-k, top-p, temperature
150
Maîtriser les cinq stratégies de décodage qui transforment les probabilités d'un LLM en texte, et régler les hyperparamètres clés temperature, top-k et top-p.
Module 5 : Prompt engineering : few-shot et chain-of-thought
120
Structurer un prompt efficace, appliquer le few-shot learning et le chain-of-thought pour doubler la qualité des réponses d'un LLM sans fine-tuning.
Module 6 : Ollama : LLMs en local
90
Installer Ollama, télécharger Llama-3 et Mistral, interagir en CLI et via API Python, et faire tourner un LLM en local sans aucun cloud externe.
Module 7 : TP : génération avec GPT-2 et comparaison des stratégies
150
Générer du texte avec GPT-2 sous cinq stratégies de décodage différentes, comparer qualité et diversité, et documenter les trade-offs dans un rapport structuré.
Module 8 : TP : fine-tuning GPT-2 sur corpus spécifique
180
Préparer un corpus, fine-tuner GPT-2 avec la bibliothèque transformers, suivre la perte d'entraînement et évaluer la perplexité du modèle spécialisé.
Module 9 : Synthèse decoder et introduction à Hugging Face
180
Cartographier les usages des modèles decoder-only, situer l'alignement et le RLHF, et préparer l'écosystème Hugging Face qui sera approfondi au chapitre 4.
Commentaires
0 commentaire
Aucun commentaire pour le moment
Soyez le premier à partager votre avis !
Se connecter pour commenter