Programme de Formation
9
module(s)
Durée totale : 1080
Maîtriser la famille BERT — masked language modeling, fine-tuning pour classification, NER, question answering et modèles multilingues. 9 leçons pour comprendre le texte.
Module 1 : Le pré-entraînement self-supervisé
90
Découvrir le principe du pré-entraînement self-supervisé, clé de voûte des LLMs modernes, et comprendre pourquoi cette approche a transformé le NLP.
Module 2 : BERT : masked language modeling
120
Plonger dans l'architecture BERT — MLM, NSP, tokens spéciaux, embeddings — et charger un modèle pré-entraîné pour l'inspecter avec Hugging Face transformers.
Module 3 : Variantes BERT : RoBERTa, DistilBERT, ALBERT
90
Comparer les principales variantes de BERT — RoBERTa plus robuste, DistilBERT plus rapide, ALBERT plus léger — et choisir la bonne selon les contraintes projet.
Module 4 : Fine-tuning pour la classification
120
Apprendre à fine-tuner un BERT pour la classification de texte avec Hugging Face — tête de classification, boucle d'entraînement, métriques et évaluation sur test set.
Module 5 : Token classification : NER
120
Apprendre à reconnaître des entités nommées (personnes, lieux, organisations) avec BERT — alignement tokens-labels, schéma BIO, fine-tuning et évaluation seqeval.
Module 6 : Question Answering extractif
120
Construire un système de QA extractif avec BERT — format SQuAD, prédiction de spans start/end, fine-tuning et évaluation avec les métriques EM et F1.
Module 7 : Modèles multilingues : XLM-RoBERTa
90
Explorer les modèles multilingues — XLM-RoBERTa, mBERT, CamemBERT — tester le transfert zero-shot cross-lingue et fine-tuner pour le français.
Module 8 : TP : classification de texte avec BERT fine-tuné
150
Travaux pratiques complets — préparer un dataset, fine-tuner BERT pour la classification multi-classes, évaluer rigoureusement et déployer le modèle en local.
Module 9 : Synthèse encoder et passage au décodeur
180
Cartographier les usages des encodeurs BERT, consolider les acquis du chapitre, distinguer rigoureusement encoder et decoder, et préparer la bascule vers GPT et la famille décodeur.
Commentaires
0 commentaire
Aucun commentaire pour le moment
Soyez le premier à partager votre avis !
Se connecter pour commenter