البيانات الضخمة

كيفية فحص وتحليل البيانات

علم البيانات 4.3(88)7 ساعات و7 دقائق50 درسا5 أقسام

ماذا ستتعلم؟

فهم مصادر البيانات الضخمة
التعامل مع البيانات غير المنظمة ودمج البيانات
معرفة خصائص البيانات الضخمة
بناء استراتيجية البيانات الضخمة
استخدام نظام Hadoop ونموذج Mapreduce
تثبيت Cloudera والتعامل مع نظام الملفات الموزعة
فهم علاقة تعلم الآلة بالبيانات الضخمة
استخدام Knime وJupyter
استكشاف البيانات وتحسين جودتها
معالجة البيانات المفقودة

عن الدورة

يشرح هذا الكورس البيانات الضخمة Big Data، أي كيف تجمع البيانات الكبيرة وتحللها وتستخدمها في استخراج معلومات مفيدة. تبدأ بتطبيقات تعطي البيانات قيمة، ثم مصادر البيانات الضخمة من الآلات والأشخاص والمؤسسات، والتعامل مع البيانات غير المنظمة ودمجها. بعد ذلك تتعرف على خصائص البيانات الضخمة، وهي الحجم والتنوع والسرعة والدقة والقيمة، وعلى علوم البيانات وبناء استراتيجية البيانات الضخمة وخطوات المعالجة. ثم تنتقل إلى الحوسبة الموزعة ونظام Hadoop ونظام الملفات الموزعة ونموذج Mapreduce، مع تثبيت Cloudera وتطبيق عملي. وتتعلم بعدها علاقة تعلم الآلة بالبيانات الضخمة، وتثبيت Knime والتعامل مع Jupyter، واستكشاف البيانات وإعدادها وتحسين جودتها ومعالجة البيانات المفقودة. يناسب الكورس المبتدئين في تحليل البيانات وكل من يعمل مع البيانات أو يريد دخول هذا المجال دون خبرة سابقة. وفي النهاية ستفهم كيف تعمل البيانات الضخمة وتستطيع استكشافها وتجهيزها وتحليلها بالأدوات المذكورة.

نتائج متوقعة من الدورة

إتقان جمع وتحليل البيانات الضخمة باستخدام تقنيات حديثة.
فهم كيفية استخدام Hadoop لإدارة البيانات الموزعة.
تطبيق تقنيات تعلم الآلة لتحليل البيانات الضخمة.
إتقان استخدام أدوات استكشاف البيانات مثل Knime وJupyter.
تطوير مشاريع عملية قائمة على تحليل البيانات الضخمة.

تقييمات المتدربين

التقييمات هنا من المتدربين الذين اشتروا الدورة وأكملوا 50٪ من المحتوى على الأقل — لا توجد تقييمات من شخص لم يطلع على المحتوى.

4.3

★★★★☆

88 تقييم

5★

4★

3★

2★

1★

★★★★★Seba·منذ 3 شهرشاهد 50٪

تم عرض كل التقييمات (1)

محتوى الدورة

مصادر البيانات الضخمة

8 درس

مقدمةيعرف البيانات الضخمة بأنها سيل متدفق ومتزايد من البيانات، ويربطها بفكرة السوبر كمبيوتر والحوسبة السحابية التي تتيح تخزين البيانات ومعالجتها وتحليلها.7:04
تطبيقات تجعل لها البيانات قيمةيعرض تطبيقات تكتسب فيها البيانات الضخمة قيمة، مثل تحليل آراء العملاء وتحليل المشاعر لتحسين المنتجات، وتحليل الجينوم البشري في المجال الطبي وما يتطلبه من تخزين ضخم.13:25
مصادر البيانات الضخمةيحدد المصادر الثلاثة للبيانات الضخمة: الآلات والأشخاص والمؤسسات، مع أمثلة على كل مصدر، وأن البيانات قد تكون منظمة أو شبه منظمة أو غير منظمة.2:42
الآلات مصدر البياناتيشرح الآلات كأكبر مصدر للبيانات الضخمة، مثل أجهزة الاستشعار والطائرات والكاميرات وGPS، والأجهزة الذكية وإنترنت الأشياء، وفائدة تحليل بياناتها كاكتشاف المرض مبكرا.7:01
الأشخاص مصدر البياناتيشرح الأشخاص كمصدر للبيانات الضخمة، وهي غالبا غير منظمة (منشورات وصور وفيديو وإيميلات)، وتحديات حجمها وسرعتها وتنظيمها وتكلفة تحليلها.5:46
التعامل مع البيانات غير المنظمةيشرح التعامل مع البيانات غير المنظمة التي ينتجها الناس باستخدام Hadoop وStorm وSpark وقواعد NoSQL مثل Neo4j وCassandra، وخطوات الحصول على قيمة منها.5:38
المؤسسات مصدر البياناتيشرح المؤسسات كمصدر للبيانات الضخمة، وهي بيانات منظمة تخزن في قواعد علاقية ويستعلم عنها بـ SQL، وغالبا معزولة بين الأقسام، ويحل السحاب مشكلة العزل.7:08
دمج البياناتيشرح دمج البيانات في Tableau بطريقتين: الربط (Join) بين جداول مرتبطة بأنواعه مثل Inner وLeft، والتجميع (Union) لدمج بيانات متشابهة من أوراق أو مصادر مختلفة.4:46

خصائص البيانات الضخمة

7 درس

مقدمة عن خصائص البيانات الضحمةيقدم المعايير التي تميز البيانات الضخمة: الحجم والتنوع والسرعة والدقة والتكافؤ، إضافة إلى القيمة وكيف يستفيد منها الأفراد والشركات والمجتمع.2:59
الحجميشرح الحجم كأول معيار للبيانات الضخمة، ووحدات القياس من ميجابايت إلى زيتابايت، وتحديات الحجم الكبير في التخزين والاسترجاع والنقل والشبكات والتكلفة والأداء.5:20
التنوعيشرح التنوع كمعيار للبيانات الضخمة وعلاقته بالتعقيد، وأبعاده الأربعة: الهيكلي والوسائط والدلالي والتوافر، مع مثال على الإيميل ككائن بيانات متعدد الأشكال.5:14
السرعةيشرح السرعة كمعيار للبيانات الضخمة في إنشاء البيانات وتخزينها وتحليلها، والفرق بين المعالجة في الوقت الفعلي والمعالجة الدفعية، وأثر السرعة على التكلفة.5:42
الدقةيشرح الدقة (Veracity) كمعيار لجودة البيانات الضخمة وموثوقيتها، وكيف تقل الدقة كلما زاد حجم البيانات وتعددت مصادرها، وأهمية قياسها لتجنب أخطاء كخطأ جوجل.7:52
التكافؤيشرح التكافؤ (Valence) كمعيار للبيانات الضخمة يعبر عن ترابط البيانات ببعضها، وأصل المصطلح الكيميائي، وكيف يزيد الترابط تعقيد النمذجة والتحليل.4:34
القيمةيشرح القيمة (Value) كأخر خاصية للبيانات الضخمة، ويطبق الخصائص الست على مثال لعبة Catch the Pink Flamingo، من الحجم والتنوع والسرعة إلى الدقة والتكافؤ.7:15

خطوات تحليل البيانات

4 درس

علوم البياناتيشرح علوم البيانات (Data Science) وكيف تحول البيانات الضخمة إلى رؤى وقرارات، ومن أي علوم نشأت، وصفات عالم البيانات ومهاراته التقنية والتجارية والشخصية.10:19
بناء استيراتيجية البيانات الضخمةيشرح بناء استراتيجية البيانات الضخمة: عناصرها الأربعة (الهدف والسياسة والخطة والعمل)، وأهداف قصيرة وطويلة المدى، وثقافة التقبل التنظيمي، ومراحل التنفيذ، وسياسات عمر البيانات وجودتها.7:55
المكونات الخمسة لعلوم البياناتيشرح المكونات الخمسة لعلوم البيانات: الأشخاص والهدف والعملية والمنصات وقابلية البرمجة، ودور كل منها في تحقيق القيمة من البيانات الضخمة.5:43
خطوات معالجة البياناتيشرح خطوات معالجة علوم البيانات: الحصول على البيانات، ثم إعدادها (استكشاف ومعالجة مسبقة)، ثم التحليل، ثم عرض النتائج بتقارير وأدوات تصور.8:33

التعامل مع Hadoop

12 درس

نظام العمليات الموزعةيشرح أسس الأنظمة الموزعة قبل Hadoop: كيف تتوزع البيانات على عقد وأرفف، وكيف يجعل تكرارها النظام أكثر تحملا للأخطاء، وكيف تتم معالجة صعوبة تعديلها.10:26
عملية الحسوبية المتوزعةيشرح الحوسبة على عقدة واحدة وعلى عقد متوازية، وCommodity Cluster والحوسبة الموزعة عبر الإنترنت، وتوازي البيانات وفائدة التوصيل المتوازي في تحمل أعطال العقد والأرفف.8:02
نماذج البرمجة للبيانات الضخمةيشرح نماذج البرمجة للبيانات الضخمة ومتطلباتها، ثم MapReduce كنموذج يوزع المعالجة ويجمع النتائج، ويدعم الأحجام الكبيرة ومعالجة الأخطاء والتوسع.7:36
لماذا هادوب Hadoop؟يشرح سبب استخدام Hadoop وأهدافه: قابلية التوسع، والتعامل مع الأعطال، ودعم أنواع البيانات المختلفة، وتشغيل عمليات متزامنة، وتحقيق القيمة، مع عرض لما سيأتي من مكوناته.4:33
شرح نظام Hadoopيشرح نظام Hadoop البيئي وتاريخه من MapReduce لدى جوجل، وطبقاته من HDFS في الأسفل إلى Hive وPig، وأدوات مثل ZooKeeper وقواعد NoSQL، وحزم مثل Cloudera.13:39
نظام المفات الموزعة فى هادوبيشرح نظام الملفات الموزع HDFS في Hadoop: تقسيم الملفات الكبيرة إلى أجزاء، والتكرار للتعامل مع أعطال العقد، ومكوناه NameNode وDataNode وعلاقة الرئيس بالتابع.7:42
إدارة الموارديشرح YARN كمدير موارد في Hadoop يتعامل مع HDFS ويشغل تطبيقات متعددة مثل MapReduce وSpark، وتصميمه بين Resource Manager وNode Manager، وما أضافه مقارنة بالإصدار الأول.7:29
أبسط نموذج برمجة Mapreduceيشرح MapReduce كأبسط نموذج برمجة للبيانات الضخمة: دالة Map تنتج أزواج مفتاح وقيمة على كل ملف، ثم الخلط والترتيب، ثم Reduce التي تجمع القيم، بمثال عد الكلمات.10:56
الحوسبة الحسابيةيشرح الحوسبة السحابية (Cloud Computing) وكيف مكنت من التعامل مع البيانات الضخمة، بتأجير الموارد عبر الإنترنت حسب الحاجة بدل شراء الأجهزة، مما يوفر التوسع وإدارة الموارد.9:28
تثبيت Clouderaيشرح تثبيت Cloudera على جهاز افتراضي باستخدام Oracle VM VirtualBox، من تنزيل الملف واستيراده وتشغيله، ثم عرض أدوات Hadoop داخله مثل Spark وNameNode وYARN.10:35
التعامل مع نظام الملفات الموزعة داخل ال كلاوديرايشرح التعامل مع HDFS من الطرفية في Cloudera بأوامر Hadoop مثل نسخ ملف من الجهاز المحلي إلى HDFS وعرض الملفات وحذفها ونسخها مرة أخرى إلى الجهاز المحلي.11:33
التطبيق العملىتطبيق عملى على Hadoop لتشغيل مثال Word Count بأمر MapReduce، مع تحديد ملفات الإدخال والإخراج، ثم عرض مجلد الناتج وملف النتيجة النهائية، وحفظ العمل داخل Cloudera وVirtualBox.16:07

تعلم الآلة والبيانات الضخمة

19 درس

نظرة سريعة على تعلم الآلةيعرف تعلم الآلة (Machine Learning) بأنه بناء أنظمة تتعلم من البيانات دون برمجة صريحة، مع أمثلة يومية مثل قراءة الأرقام المكتوبة بخط اليد، والفرق بينه وبين Data Mining وعلوم البيانات.11:43
تعلم الآلة والبيانات الضخمةيشرح أشهر خوارزميات تعلم الآلة: التصنيف والانحدار والتجميع (Cluster Analysis) وتحليل الارتباط (Association Analysis)، والفرق بين التعلم الخاضع للإشراف وغير الخاضع له حسب تحديد الهدف.14:02
العمليات المنفذة باستحدام تعلم الآلةيراجع خطوات عملية تعلم الآلة: الحصول على البيانات واستكشافها ومعالجتها المسبقة، ثم بناء النموذج واختباره بعينة عشوائية، مع إمكانية تكرار الخطوات إن لم يحقق النموذج الهدف.8:41
استخراج البياناتيشرح منهجية CRISP-DM لاستخراج البيانات ومراحلها: فهم الأعمال، وفهم البيانات، وإعدادها، وبناء النموذج، وتقييمه، مع العودة إلى فهم الأعمال إذا لم تكن النتائج مرضية.9:26
نظرة على البرامج والأدواتيعرض أدوات تعلم الآلة مع البيانات الضخمة: KNIME كمنصة ذات واجهة رسومية تعتمد السحب والإفلات وتوصيل العقد في Workflow، وSpark MLlib التي تعتمد على كتابة الكود.9:29
تثبيت Knimeيشرح خطوات تحميل وتثبيت KNIME، ثم استخدام Node Repository وسحب العقد مثل Excel Reader إلى الـ Workflow وضبط إعداداتها، مع مثال على تقسيم البيانات للتدريب والاختبار.13:22
التعامل مع Jupyterيشرح تحميل Spark وAnaconda وتشغيل Jupyter Notebook وJupyter Lab، والعمل على ملفات المشروع ورفعها، وكتابة كود Python داخل المتصفح للتعامل مع البيانات.9:34
الميزات والبياناتيشرح المصطلحات الأساسية للبيانات في تعلم الآلة: الميزة (Feature) والعينة (Sample) وأسماؤهما البديلة، والفرق بين المتغيرات الرقمية (Numeric) والفئوية (Categorical) بأمثلة من الجداول.8:24
استكشاف البياناتيشرح استكشاف البيانات (Data Exploration) وأهدافه، وتقنياته من الإحصاءات الموجزة والتصور، وما يكشفه من ارتباطات واتجاهات ومدى للقيم وقيم متطرفة.5:38
الاحصائيات الموجزةيشرح الإحصاءات الموجزة (Summary Statistics) وفئاتها: مقاييس المركز مثل المتوسط والوسيط، ومقاييس الانتشار مثل الانحراف المعياري والتباين والمدى، ومقاييس الشكل والاعتماد بين المتغيرات.11:53
التحقق من البياناتيشرح استخدام جدول الطوارئ contingency table لوصف المتغيرات التصنيفية، وأسئلة التحقق السريع من البيانات: عدد الصفوف والأعمدة، صحة التواريخ، وعدد القيم المفقودة قبل المعالجة.8:30
تصورات الاستكشافاتيشرح تصور البيانات في مرحلة الاستكشاف عبر المخططات المختلفة، مثل Histogram لفهم مركز البيانات وتوزيعها، وScatter Plot لعلاقة متغيرين والقيم المتطرفة، وBox Plot لمقارنة التوزيعات.13:56
استخدام التصور مع Knimeتطبيق عملى فى KNIME لاستكشاف البيانات: إنشاء Workflow، وقراءة ملف Daily Weather.csv، ثم رسم Histogram وScatter Plot لدرجة حرارة الهواء والرطوبة النسبية، واستنتاج علاقة سلبية بينهما.8:59
إعداد البياناتيشرح أهمية إعداد البيانات قبل التحليل وأهدافه، ومشاكل جودة البيانات كالقيم المفقودة والمكررة والضوضاء والقيم المتطرفة، ومفهوم Data Wrangling بفئتيه: اختيار الميزات وتحويل الميزات.5:04
جودة البياناتيعرض مشاكل جودة البيانات الأساسية: القيم المفقودة، والبيانات المتكررة، والبيانات غير الصالحة أو غير المتسقة، والضوضاء، والقيم المتطرفة، وأثرها السلبى على نتائج التحليل وسبب وجوب معالجتها أولا.4:40
تقنيات معالجة جودة البياناتيشرح تقنيات معالجة جودة البيانات: حذف العينات ذات القيم المفقودة أو إسناد قيم معقولة لها (imputation)، ودمج البيانات المكررة، وتصحيح البيانات غير الصالحة من مصدر آخر، والتعامل مع القيم المتطرفة.6:51
تحديد الميزاتيشرح تحديد الميزات Feature Selection ضمن إعداد البيانات: حذف الميزات ذات القيم المفقودة الكثيرة أو عديمة الفائدة مثل ID، ودمج الميزات، واشتقاق ميزات جديدة، وإعادة الترميز كتقسيم العمر إلى فئات.10:05
تحويل الميزاتيشرح تحويل الميزات Feature Transformation وهدفه، ومنه القياس Scaling بتغيير نطاق القيم، وتقليل الضوضاء بالفلاتر في الصوت والصور، والتجميع Aggregation للقيم، لتبسيط البيانات قبل التحليل.7:03
التطبيق العملى على البيانات المفقودةتطبيق عملى فى KNIME للتعامل مع القيم المفقودة بثلاثة حلول: حذف العينات التى تحتوى قيما مفقودة فى عمود معين، أو استبدالها بمتوسط العمود، أو حذف كل العينات الناقصة، مع مقارنة Histogram قبل المعالجة وبعدها.17:01