Modèles de Langage de Grande Taille

Former et Personnaliser des Modèles de Langage

Programmation IA et Apprentissage Automatique4.7(65)3h 18min19 leçons1 section

Ce que vous apprendrez

  • Comprendre l'évolution des modèles de langage avant les Transformers
  • Apprendre les bases de la Tokenization
  • Saisir l'architecture des Transformers et le mécanisme de Multi-Head Attention
  • Découvrir le modèle BERT et ses applications
  • Maîtriser le Prompt Engineering
  • Régler les paramètres de configuration
  • Utiliser la plateforme Hugging Face
  • Résumer du contenu YouTube avec les Transformers
  • Personnaliser des modèles avec le Fine-Tuning, PEFT et LoRA

À propos du cours

Ce cours explique les grands modèles de langage (LLM), leur fonctionnement, et la façon de les personnaliser pour créer des applications intelligentes. Il commence par une introduction, puis l'époque d'avant les Transformers et les bases de la Tokenization. Ensuite, il explique l'architecture des Transformers en quatre parties, dont le mécanisme de Multi-Head Attention, puis les différents modèles d'architecture. Vous apprenez alors les prompts et le Prompt Engineering, le modèle BERT et ses applications, et les paramètres de configuration (Configuration Parameters) des modèles de langage. Vous découvrez aussi la plateforme Hugging Face en trois parties, puis réalisez un projet pratique de résumé de contenu YouTube avec les Transformers. Le cours se termine par le Fine-Tuning et les techniques PEFT, c'est-à-dire Parameter-Efficient Fine-Tuning, et la technique LoRA, c'est-à-dire Low-Rank Adaptation. Il convient aux développeurs et à toute personne intéressée par l'IA et le traitement du langage, et des connaissances de base en programmation sont préférables. À la fin, vous comprendrez le fonctionnement des modèles de langage, et vous saurez utiliser Hugging Face et personnaliser des modèles pour vos applications.

Résultats attendus

  • Compréhension complète des méthodes de formation et de personnalisation des modèles linguistiques de grande taille.
  • Capacité à utiliser la plateforme Hugging Face pour travailler avec les LLMs.
  • Maîtrise des techniques PEFT et LoRA pour une personnalisation efficace des modèles.
  • Capacité à créer des applications intelligentes pour l'analyse de texte et le résumé de contenu.

Avis des apprenants

Ces avis proviennent d'apprenants qui ont acheté le contenu et en ont complété au moins 50% — il n'y a aucun avis de personnes n'ayant pas suivi le contenu.
4.7
★★★★★
65 avis
5★
48
4★
13
3★
4
2★
0
1★
0
  • ★★★☆☆Tamer F.·منذ 5 شهرشاهد 100٪

    الشرح جيد ولكن يحتاج الى توسع اكثر حيث ان الكورس مختصر وأيضا يحتاج الى تدريبات عملية أكثر

تم عرض كل التقييمات (1)

Contenu du cours

1

Modèles de langage large LLMs

19 leçons
  1. Introduction au coursPrésente le cours sur les grands modèles de langage : des RNN, de la tokenisation, de l'architecture Transformer et de ses variantes et du prompt engineering, à Hugging Face, un projet de résumé YouTube, puis le fine-tuning, PEFT et LoRA.3:51
  2. Avant l'ère des TransformersPrépare l'étude des Transformers en expliquant les tâches sequence to sequence comme la traduction et le résumé, le fonctionnement pas à pas d'un RNN avec son hidden state, et ses défauts : lenteur sur les longues séquences et oubli des informations anciennes.7:02
  3. Bases de la tokenisationExplique la tokenisation : découper le texte en tokens et associer chacun à un ID d'un vocabulaire construit par le tokenizer, puis ses types au niveau du mot, du caractère et du sous-mot, dont BPE et WordPiece.4:34
  4. Architecture des Transformers - Partie unCommence l'explication de l'architecture Transformer par l'Encoder : représenter les mots par des vecteurs via l'input embedding de dimension 512, puis le positional encoding avec les fonctions sinus et cosinus pour ajouter l'ordre des mots.8:02
  5. Architecture des Transformers - Partie deuxExplique le self-attention dans l'Encoder : copie de la matrice en Query, Key et Value, multiplication de Q par K transposée, division par la racine puis softmax, pour établir la relation de chaque mot avec ses voisins.5:07
  6. Architecture des Transformers - Partie trois : Mécanisme d'attention multi-têteExplique le multi-head attention : multiplication de Q, K et V par des matrices de poids puis découpage en plusieurs têtes, chacune ciblant un type de relation, fusion, puis couches Add and Norm et réseau feed-forward pour finir l'Encoder.4:54
  7. Architecture des Transformers - Partie quatreExplique le Decoder du Transformer : masked multi-head attention qui masque les mots futurs, puis cross attention prenant Key et Value de l'Encoder, suivi de l'entraînement avec une loss et de la prédiction mot après mot.9:43
  8. Différents modèles architecturaux des TransformersExplique les trois architectures de Transformers : encoder only, decoder only et encoder decoder, le pre-training propre à chacune, les tâches adaptées comme la classification, la génération de texte et la traduction, et des exemples de modèles.10:02
  9. Prompts et Ingénierie des PromptsExplique prompt, inference, completion et context window, puis l'amélioration des résultats en ajoutant des exemples dans le prompt via l'in-context learning, le one-shot et le few-shot, et les limites qui mènent au fine-tuning.6:45
  10. Modèle BERT et ses ApplicationsExplique BERT, qui n'utilise que l'Encoder : son architecture et son tokenizer WordPiece, sa différence avec GPT, et son entraînement par masked language modeling et prédiction de la phrase suivante, puis la classification.17:37
  11. Paramètres de Configuration dans les LLMsExplique les paramètres de configuration qui contrôlent la génération à l'inférence : max tokens, greedy decoding, random sampling, top-k et top-p, et la temperature avec son effet sur la distribution des probabilités.7:52
  12. Plateforme Hugging Face - Partie UnDémarre la pratique sur Hugging Face et Google Colab avec le pipeline de la bibliothèque transformers : génération de texte avec GPT-2 et classification pour vérifier si une phrase est grammaticalement correcte.15:17
  13. Plateforme Hugging Face - Partie DeuxApplique les tâches sequence to sequence sur Hugging Face avec les pipelines : traduction d'un texte d'une langue à une autre, résumé avec réglage de max length, min length et do sample, et génération de questions à partir d'un texte.13:41
  14. Plateforme Hugging Face - Partie TroisMontre une alternative aux pipelines : charger séparément le modèle et le tokenizer, effectuer manuellement la tokenisation et l'inférence, décoder en ignorant les special tokens et créer une fonction qui génère directement le résumé.15:15
  15. Projet Pratique : Résumé de Contenu YouTube avec Transformers - Partie UnLance le projet de résumé de vidéo YouTube : récupérer le transcript depuis le lien via l'identifiant de la vidéo dans Google Colab, puis fusionner les segments de texte en une seule variable avant de la passer au modèle de résumé.20:16
  16. Projet Pratique : Résumé de Contenu YouTube avec Transformers - Partie DeuxTermine le projet de résumé YouTube : créer une fonction qui résume le transcript en le découpant en morceaux de caractères, les passe dans un pipeline de résumé et assemble les résultats, puis exécuter tout le projet sur un lien vidéo.15:41
  17. Introduction au Fine-TuningIntroduit le fine-tuning pour spécialiser un modèle pré-entraîné sur une tâche précise, pourquoi les exemples dans le prompt ne suffisent pas, l'entraînement sur des paires prompt-réponse et les étapes de la préparation du dataset à l'évaluation.15:17
  18. Techniques PEFT (Fine-Tuning Efficace en Paramètres)Explique les techniques PEFT qui résolvent le coût du full fine-tuning et l'oubli des anciennes connaissances en n'entraînant qu'un petit nombre de paramètres, et leurs types : selective, re-parameterization, additive et soft prompts.7:42
  19. Technique LoRA (Adaptation à Bas Rang)Explique LoRA : geler les poids d'origine et entraîner deux petites matrices dimensionnées par le rank, les multiplier et ajouter le résultat aux poids, avec ses avantages comme le changement de tâche et le choix de la valeur du rank.9:30

Formateur

Ing. Ziad Ahmed

Ing. Ziad Ahmed

Ingénieur et scientifique des données spécialisé dans les modèles de langage. Expert en traitement du langage naturel, automatisation et analyse de données.
19.8K vues3 cours

Cours similaires