النماذج اللغوية الكبيرة

تعلم تدريب وتخصيص النماذج اللغوية

برمجة الذكاء الاصطناعى وتعلم الآلة4.7(65)3 ساعات و18 دقيقة19 درساقسم واحد

ماذا ستتعلم؟

  • فهم تطور النماذج اللغوية قبل الـ Transformers
  • تعلم أساسيات الـ Tokenization
  • استيعاب معمارية الـ Transformers وآلية Multi-Head Attention
  • التعرف على نموذج BERT وتطبيقاته
  • إتقان الـ Prompt Engineering
  • ضبط الـ Configuration Parameters
  • استخدام منصة Hugging Face
  • تلخيص محتوى YouTube باستخدام Transformers
  • تخصيص النماذج بتقنيات Fine-Tuning وPEFT وLoRA

عن الدورة

يشرح هذا الكورس النماذج اللغوية الكبيرة LLMs وكيف تعمل، وكيف يمكن تخصيصها لبناء تطبيقات ذكية. يبدأ بمقدمة ثم ما قبل عصر الـ Transformers وأساسيات الـ Tokenization. بعد ذلك يشرح معمارية الـ Transformers على أربعة أجزاء، منها آلية Multi-Head Attention، ثم الأنماط المعمارية المختلفة لها. ثم تتعلم الـ Prompts والـ Prompt Engineering، ونموذج BERT وتطبيقاته، وإعدادات Configuration Parameters في النماذج اللغوية. وتتعرف على منصة Hugging Face في ثلاثة أجزاء، ثم تنفذ مشروعا تطبيقيا لتلخيص محتوى YouTube باستخدام Transformers. ويختم بالـ Fine-Tuning وتقنيات PEFT وهي Parameter-Efficient Fine-Tuning، وتقنية LoRA وهي Low-Rank Adaptation. يناسب الكورس المبرمجين وكل مهتم بالذكاء الاصطناعي ومعالجة اللغة، ويفضل أن تكون لديك معرفة أساسية بالبرمجة. وفي النهاية ستفهم كيف تعمل النماذج اللغوية، وتستطيع استخدام Hugging Face وتخصيص النماذج لتطبيقاتك.

نتائج متوقعة من الدورة

  • فهم شامل لطرق تدريب وتخصيص النماذج اللغوية الكبيرة.
  • القدرة على استخدام منصة Hugging Face في التعامل مع الـ LLMs.
  • إتقان تقنيات PEFT و LoRA لتخصيص النماذج بكفاءة عالية.
  • التمكن من بناء تطبيقات ذكية لتحليل النصوص وتلخيص المحتوى.

تقييمات المتدربين

التقييمات هنا من المتدربين الذين اشتروا الدورة وأكملوا 50٪ من المحتوى على الأقل — لا توجد تقييمات من شخص لم يطلع على المحتوى.
4.7
★★★★★
65 تقييم
5★
48
4★
13
3★
4
2★
0
1★
0
  • ★★★☆☆Tamer F.·منذ 5 شهرشاهد 100٪

    الشرح جيد ولكن يحتاج الى توسع اكثر حيث ان الكورس مختصر وأيضا يحتاج الى تدريبات عملية أكثر

تم عرض كل التقييمات (1)

محتوى الدورة

1

النماذج اللغوية الكبيرة LLMs

19 درس
  1. مقدمة الكورسيقدم نظرة عامة على كورس النماذج اللغوية الكبيرة: من RNN وTokenization ومعمارية Transformers وأنماطها وPrompt Engineering، إلى منصة Hugging Face ومشروع تلخيص يوتيوب، ثم Fine-Tuning وPEFT وLoRA.3:51
  2. ما قبل عصر الـ Transformersيمهد لـ Transformers بشرح مهام sequence to sequence مثل الترجمة والتلخيص، وكيف تعمل RNN خطوة بخطوة مع hidden state، وعيوبها: البطء مع التسلسلات الطويلة ونسيان المعلومات القديمة.7:02
  3. أساسيات الـ Tokenizationيشرح Tokenization: تقسيم النص إلى tokens وتحويل كل token إلى ID من قاموس يبنيه الـ tokenizer، ثم أنواعه: على مستوى الكلمة أو الحرف أو جزء الكلمة، مع BPE وWordPiece.4:34
  4. معمارية الـ Transformers- الجزء الأوليبدأ شرح معمارية Transformer بجزء الـ Encoder: تمثيل الكلمات بمتجهات عبر Input Embedding بحجم نموذج 512، ثم Positional Encoding بمعادلتي sin وcos لإضافة ترتيب الكلمة في الجملة.8:02
  5. معمارية الـ Transformers - الجزء الثانييشرح آلية Self-Attention داخل الـ Encoder: نسخ المصفوفة إلى Query وKey وValue، وضرب Q في K المقلوبة والقسمة على الجذر ثم softmax، لتوضيح علاقة كل كلمة بالكلمات المحيطة بها.5:07
  6. معمارية الـ Transformers - الجزء الثالث: آلية الـ Multi-Head Attentionيشرح Multi-Head Attention: ضرب Q وK وV في مصفوفات أوزان وتقسيمها إلى عدة heads يركز كل منها على نمط علاقات مختلف، ثم الدمج، وطبقات Add and Norm والشبكة Feed Forward لإكمال الـ Encoder.4:54
  7. معمارية الـ Transformers - الجزء الرابعيشرح الـ Decoder في Transformer: Masked Multi-Head Attention لمنع رؤية الكلمات المستقبلية، ثم cross attention يأخذ Key وValue من الـ Encoder، ثم التدريب بحساب الـ loss والتوقع كلمة بكلمة.9:43
  8. الأنماط المعمارية المختلفة للـ Transformersيشرح الأنماط المعمارية الثلاثة لـ Transformers: encoder only وdecoder only وencoder decoder، وطريقة pre-training لكل نمط، والمهام المناسبة له مثل التصنيف وتوليد النص والترجمة، وأمثلة نماذج كل نمط.10:02
  9. الـ Prompts والـ Prompt Engineeringيشرح مفاهيم الـ prompt وinference وcompletion وcontext window، ثم تحسين النتائج بإضافة أمثلة داخل الـ prompt عبر in-context learning وone shot وfew shot، وحدودها التي تدفع إلى fine-tuning.6:45
  10. نموذج BERT وتطبيقاتهيشرح نموذج BERT المعتمد على الـ Encoder فقط: معماريته وWordPiece tokenizer، والفرق بينه وبين GPT، والتدريب بالـ masked language modeling وبالتنبؤ بالجملة التالية، ثم التصنيف.17:37
  11. الـ Configuration Parameters في ال LLMsيشرح configuration parameters التي تتحكم في توليد النموذج وقت الـ inference: max tokens، والـ greedy decoding، والـ random sampling، وTop-K وTop-P، والـ temperature وتأثيرها على توزيع الاحتمالات.7:52
  12. منصة Hugging Face - الجزء الأوليبدأ التطبيق العملي على منصة Hugging Face وGoogle Colab باستخدام pipeline من مكتبة transformers: توليد النص بنموذج GPT-2، وتصنيف النص للتحقق من صحة الجملة نحويًا.15:17
  13. منصة Hugging Face - الجزء الثانييطبق مهام sequence to sequence على Hugging Face بالـ pipeline: ترجمة نص من لغة إلى أخرى، وتلخيص النص مع ضبط max length وmin length وdo sample، وتوليد أسئلة من نص.13:41
  14. منصة Hugging Face - الجزء الثالثيشرح طريقة بديلة عن pipeline: تحميل النموذج والـ tokenizer كلًا على حدة، وإجراء الـ tokenization والـ inference يدويًا، وفك الترميز مع تجاهل special tokens، وبناء دالة تولد الملخص مباشرة.15:15
  15. مشروع تطبيقي: تلخيص محتوى YouTube باستخدام Transformers - الجزء الأوليبدأ مشروع تلخيص فيديو يوتيوب: جلب الـ transcript من رابط الفيديو عبر معرّف الفيديو في Google Colab، ودمج أجزاء النص في متغير واحد تمهيدًا لإدخاله إلى نموذج التلخيص.20:16
  16. مشروع تطبيقي: تلخيص محتوى YouTube باستخدام Transformers - الجزء الثانييكمل مشروع تلخيص يوتيوب: بناء دالة تلخص الـ transcript بتقسيمه إلى أجزاء حروف متتابعة وتمريرها إلى summarization pipeline ودمج النتائج، ثم تشغيل المشروع كاملًا على رابط فيديو.15:41
  17. مقدمة في الـ Fine-Tuningيقدم الـ Fine-Tuning لتخصيص نموذج مدرب مسبقًا لمهمة محددة، ولماذا لا تكفي الأمثلة داخل الـ prompt، وكيفية التدريب على أزواج prompt ورد، وخطوات تجهيز الـ dataset ثم التقييم.15:17
  18. تقنيات الـ PEFT (Parameter-Efficient Fine-Tuning)يشرح تقنيات PEFT التي تحل مشكلة تكلفة full fine-tuning ونسيان المعرفة القديمة بتدريب عدد صغير من المعاملات فقط، وأنواعها: selective وre-parameterization وadditive وsoft prompts.7:42
  19. تقنية الـ LoRA (Low-Rank Adaptation)يشرح تقنية LoRA: تجميد الأوزان الأصلية وتدريب مصفوفتين صغيرتين بحسب الـ rank، ثم ضرب إحداهما بالأخرى وجمع الناتج مع الأوزان، وفوائدها في تبديل المهام واختيار قيمة الـ rank.9:30

المحاضر

م/زياد أحمد

م/زياد أحمد

مهندس وعالم بيانات متخصص في نماذج اللغة الضخمة. أخصائي في معالجة اللغة الطبيعية والأتمتة وتحليل البيانات.
19.8K مشاهدة3 دورة

دورات ذات صلة