
معالجة اللغة الطبيعية
اجعل برامج الذكاء الاصطناعي تفهم وتنشئ اللغة البشرية
ماذا ستتعلم؟
- فهم معالجة اللغة الطبيعية NLP
- التعرف على دورة حياة مشروع NLP
- تحضير البيانات النصية وإزالة الترقيم
- تجزئة النصوص Tokenization وحذف Stop Words
- تجذيع الكلمات Stemming وLemmatization
- تجسيد النصوص Vectorization
- استخراج المميزات بهندسة السمات
- اختيار النموذج المناسب Model Selection
- تقييم أداء النموذج Model Evaluation
عن الدورة
يشرح هذا الكورس معالجة اللغة الطبيعية NLP، وهي الفرع من الذكاء الاصطناعي الذي يجعل الحاسب يفهم النصوص البشرية ويحللها. تبدأ بمقدمة عن NLP ودورة حياة المشروع، ثم تحضير البيانات النصية وإزالة علامات الترقيم. بعد ذلك تتعلم تجزئة النصوص Tokenization وحذف الكلمات الشائعة Stop Words، ثم تجذيع الكلمات Stemming وردها إلى أصلها Lemmatization. ثم تنتقل إلى تجسيد النصوص Vectorization لتحويلها إلى أرقام تفهمها الآلة، وهندسة السمات Feature Engineering لاستخراج المميزات من البيانات. وفي المرحلة الأخيرة تتعلم اختيار النموذج المناسب Model Selection ثم تقييم أدائه Model Evaluation على عدة أجزاء. ينفع الكورس كل من يريد دخول مجال الذكاء الاصطناعي وتعلم الآلة، ومن يحب العمل على النصوص وتحليل المشاعر. ويفضل أن تكون لديك معرفة أساسية بالبرمجة. وفي النهاية ستكون قادرا على تنفيذ مشروع كامل لمعالجة النصوص من تجهيز البيانات حتى تقييم النموذج.
نتائج متوقعة من الدورة
- القدرة على تنفيذ مشروع متكامل لمعالجة النصوص.
- تحليل النصوص واستخراج المميزات باستخدام تقنيات متقدمة.
- اختيار وتقييم النماذج المناسبة للحصول على أفضل أداء.
- تحسين البيانات النصية لتناسب احتياجات النماذج المختلفة.
- العمل بكفاءة على مشاريع معالجة اللغة الطبيعية باستخدام أدوات وتقنيات حديثة.
تقييمات المتدربين
محتوى الدورة
1معالجة اللغة الطبيعية NLP
19 درس
- مقدمة إلى معالجة البيانات intro to NLPمقدمة إلى معالجة اللغات الطبيعية NLP، والفرق بين البيانات المنظمة وغير المنظمة، وعلاقتها بتعلم الآلة والتعلم العميق، وأساليبها الرئيسية وتطبيقاتها مثل تصنيف Spam وأنظمة الأسئلة والأجوبة.15:08
- دورة حياة المشروع project life cycleيستعرض دورة حياة مشروع NLP ومكتبات بايثون المستخدمة مثل NLTK وspaCy، ويمرّ على مراحل المشروع من جمع البيانات إلى بناء النموذج وتقييمه ونشره، مع مثال تصنيف الرسائل إلى Spam وغير Spam.11:57
- تحضير البيانات Data Preparationيشرح مرحلة تحضير البيانات في مشروع NLP وخطواتها: tokenization وحذف stop words وlemmatization وstemming وvectorization وfeature engineering، ثم يستكشف مجموعة بيانات رسائل Spam بكود بايثون.9:51
- إزالة الترقيم Remove Punctuationيشرح إزالة علامات الترقيم من النصوص في بايثون باستخدام مكتبة string وحلقة for وlist comprehension ودالة lambda على جدول بيانات، مع تحويل النص إلى حروف صغيرة لأن بايثون حساسة لحالة الحروف.6:36
- التوقف وتجزئة النصوص Tokenization & StopWords (الجزء الأول)يعرّف tokenization أي تقسيم الجملة إلى كلمات، وstop words أي الكلمات الشائعة قليلة الفائدة، ويوضح لماذا تُحذف لتقليل حجم البيانات، ومتى يجب عدم حذفها كما في تحليل المشاعر.7:17
- التوقف وتجزئة النصوص Tokenization & StopWords (الجزء الثانى)يطبّق tokenization وحذف stop words بكود بايثون على نصوص إنجليزية وعربية داخل دالة واحدة، ويوضح لماذا يُفضّل عدم حذف stop words عند العمل على تحليل المشاعر.8:42
- تجذيع الكلمات وتنسيقها Stemming & Lemtizing (الجزء الأول)يشرح الفرق بين stemming وlemmatization في إرجاع الكلمة إلى أصلها، ومشكلتي over stemming وunder stemming، وأن الأول أسرع وأقل دقة بينما يعتمد الثاني على قاموس فيكون أدق وأبطأ.7:42
- تجذيع الكلمات وتنسيقها Stemming & Lemtizing (الجزء الثانى)يطبّق stemming وlemmatization بكود بايثون داخل دوال تُنشئ عمودًا جديدًا في البيانات، ويراجع مشكلتي over stemming وunder stemming وكيفية دمج خطوات المعالجة المسبقة في دالة واحدة.7:12
- تجسيد النصوص Vectorization (الجزء الأول)يشرح vectorization أي تحويل النص إلى أرقام يفهمها النموذج، عبر جدول document term matrix، وأنواعه: Count Vectorizer وN-grams وTF-IDF، مع مثال حساب عدد ظهور كل كلمة في الرسائل.14:11
- تجسيد النصوص Vectorization (الجزء الثانى)يشرح TF-IDF بتفصيل، فـ TF هو عدد مرات ظهور الكلمة في المستند مقسومًا على عدد كلماته، وIDF لوغاريتم عدد المستندات على عدد المستندات التي تحوي الكلمة، وحاصل ضربهما يعطي وزن الكلمة.5:42
- تجسيد النصوص Vectorization (الجزء الثالث)يطبّق vectorization بكود بايثون باستخدام Count Vectorizer وN-grams وTF-IDF، ويوضح الـ sparse matrix وأهميتها لتوفير المساحة، وضرورة تحويل النص إلى أرقام قبل تدريب النموذج.7:27
- هندسة السمات Feature Engineering (الجزء الأول)يشرح feature engineering وفائدته في حذف البيانات غير المهمة وإنشاء سمات جديدة من الموجودة، مثل طول الرسالة ونسبة علامات الترقيم لتمييز Spam، ثم تغيير المقياس scaling للأرقام.12:02
- هندسة السمات Feature Engineering (الجزء الثانى)يطبّق feature engineering بكود بايثون بإنشاء سمات جديدة مثل طول الرسالة ونسبة علامات الترقيم والحروف الكبيرة باستخدام lambda، ثم يستخدم MinMaxScaler من scikit-learn لتغيير مقياس الأرقام.8:47
- اختيار النموذج Model Selection (الجزء الأول)يشرح كيفية اختيار الخوارزمية المناسبة في مرحلة بناء النموذج حسب نوع البيانات والمشكلة، ويعرّف ensemble learning وخوارزمية Random Forest ومزاياها وعيوبها، وتقسيم البيانات إلى train وtest.14:20
- اختيار النموذج Model Selection (الجزء الثانى)يطبّق نموذج Random Forest Classifier بكود بايثون على بيانات الرسائل، بدمج السمات النهائية في final data frame وتقسيمها إلى train وtest، ثم تدريب النموذج واستخراج أهمية كل سمة.6:51
- تقييم النموذج Model Evaluation (الجزء الأول)يشرح تقييم النموذج وقرار نقله إلى النشر أو تحسينه، ومشكلة الفرق بين التدريب والبيانات الجديدة، والتوازن بين bias وvariance، وhyperparameters، وطرق تقسيم البيانات مثل train test وcross validation.11:53
- تقييم النموذج Model Evaluation (الجزء الثانى)يطبّق تقسيم البيانات بكود بايثون باستخدام train_test_split ثم cross validation من نوع k-fold مع Random Forest، لاختيار أفضل تقسيمة للبيانات بسطر كود واحد.3:16
- تقييم النموذج Model Evaluation (الجزء الثالث)يشرح مقاييس تقييم النموذج، ومنها accuracy ومحدوديتها مع البيانات غير المتوازنة أو الفئات المتعددة، ومصفوفة الالتباس confusion matrix وقيم true positive وfalse positive وغيرها، وما تدل عليه.14:23
- تقييم النموذج Model Evaluation (الجزء الرابع)يطبّق تقييم النموذج بكود بايثون بحساب accuracy وprecision وrecall ومصفوفة الالتباس على بيانات الاختبار، ويشرح كيفية قراءة نتائجها وما يُراجع عند ضعف النتيجة: البيانات أو النموذج أو hyperparameters.7:35
2الملحقات
1 ملحقات
- Matrials
المحاضر

م/زياد محمود



