Science des Donnéesعربى

Le big data et ses usages avec Hadoop et Spark

Utiliser le big data dans les applications intelligentes

Découvrez comment le big data peut changer l'avenir des entreprises.

4.6(32)523 pages11 chapitres46 vues

Ce que vous apprendrez

  • Comprendre le concept de big data
  • Appliquer les techniques de Hadoop
  • Utiliser Spark pour analyser les données
  • Développer vos compétences en analyse de données
  • Réaliser des projets pratiques en big data
  • Améliorer la prise de décision grâce aux données

À propos du livre

Utilisation du big data avec Hadoop et Spark.

À qui s'adresse ce livre

  • Analystes de données
  • Chefs de projet
  • Étudiants en informatique
  • Personnes intéressées par les technologies de données
  • Entrepreneurs

Pourquoi lire ce livre

  • Complet et détaillé sur le big data
  • Des exemples pratiques qui montrent de vraies applications
  • Un langage simple et facile à comprendre
  • Des stratégies efficaces pour analyser les données

Avis des lecteurs

Ces avis proviennent de lecteurs qui possèdent le livre — par achat ou dans le cadre de leur abonnement.
4.6
★★★★★
32 avis
5★
18
4★
14
3★
0
2★
0
1★
0

    Table des matières

    1

    مقدمة عن البيانات الضخمة

    1. Introduction To BigData
    2. مقدمة
    3. خصائص البيانات الضخمة
    4. الحجم
    5. السرعة Velocity
    6. متنوع Variety
    7. الموثوقية veracity
    8. قيمة Value
    9. أمثلة محددة المجال للبيانات الضخمة Domain Specific example of bigData
    10. مجال الويب
    11. مراقبة الأداء: performance monitoring
    12. استهداف الإعلانات والتحليلات Ad Targeting & Analytics
    13. توصية المحتوى content recommendations
    14. الأمور المالية financial
    15. نمذجة مخاطر الائتمان
    16. كشف الاحتيال fraude detection
    17. رعاية صحية
    18. الترصد الوبائي Epidemiological Surveillance
    19. تطبيق استخبارات القرار القائم على تشابه المريض
    20. التنبؤ بأحداث المخدرات العكسية
    21. كشف المطالبات الغريبة
    22. الطب القائم على الأدلة
    23. مراقبة الصحة في الوقت الحقيقي
    24. انترنت الأشياء internet of Things
    25. كشف التسلل Intrusion Detection
    26. المواقف الذكية smart garages
    27. الطرق الذكية smart roads
    28. مراقبة الصحة الإنشائية structural health monitoring
    29. الري الذكي smart irrigation
    30. بيئة enivirmonment
    31. مراقبة الطقس weather monitoring
    32. مراقبة تلوث الهواء Air Polution Monitoring
    33. مراقبة التلوث الضوضائي Noise Pollution monitoring
    34. كشف حرائق الغابات forest fire detection
    35. كشف فيضانات الأنهارRiver flood detection
    36. مراقبة جودة المياه water quality monitoring
    37. النقل والخدمات اللوجستية
    38. تتبع الأسطول في الوقت الحقيقي
    39. مراقبة الشحنات
    40. حلول إدارة الشحن لأنظمة النقل
    41. تشخيص المركبات عن بعد Remote Vehicle Diagnistic
    42. إنشاء وجدولة الطريق Routing Generation And scheduling
    43. أنظمة النقل الحديثة مدفوعة بالبيانات
    44. التوصيل المحلي المفرط hyper local delivary
    45. مجمعات الكابينة / سيارات الأجرة Cap Taxy Agregator
    46. الصناعة
    47. تشخيص الجهاز والتنبؤ به
    48. تحليل مخاطر العمليات الصناعية Risk Analysis of Industrial Operations
    49. تخطيط ومراقبة الإنتاج Production Planning and Control
    50. قياس تخطيط الإنتاج وأنظمة التحكم
    51. بيع بالتجزئة Retail Business
    52. توصيات العملاء Customer Recommendations
    53. تحسين تخطيط المتجر store layout optemisation
    54. توقع الطلب forecasting demand
    55. تدفق التحليلات للبيانات الضخمة Analytics Flow for Big Data
    56. جمع البيانات Data Collection
    57. تحضير البيانات Data Preparation
    58. أنواع التحليل Analysis types
    59. طرق التحليل Analysis Modes
    60. رسم البيانات Data Visualisation
    61. مخازن البيانات الضخمة big data stacks
    62. مصادر البيانات الخام Raw Data Sources
    63. مراقبة الاداء performance monitoring
    64. وسائل الاتصال بالبيانات Data Access Connectors
    65. التراسل باستخدام طريقة النشر والاشتراك publish subscribe messaging
    66. موصلات مصدر بالوعة :source sink connectors
    67. موصلات قاعدة البيانات Database connectors
    68. قوائم انتظار الرسائل Messaging Queues
    69. الموصلات المخصصة
    70. مخزن البيانات Data storage
    71. تحليلات الدُفعات Batch Analysis
    72. تحليلات في الوقت الحقيقي Real Time Data Analytics
    73. استعلام تفاعلي interactive query
    74. خدمة قواعد البيانات والويب وأطر التصور
    75. الربط بين تدفق التحليلات وحزم البيانات الضخمة
    76. لتنظيف البيانات وتحويلها
    77. جمع البيانات Data collection
    78. تحضير البيانات Data Preparation
    79. أنواع التحليل Analytics Types
    80. أنماط التحليل Analysis Modes
    81. التصورات
    2

    مقدمة سبارك

    1. Classes and objects
    2. نظرة عامة عن سبارك
    3. تاريخ سبارك
    4. مفاهيم سبارك الأساسية والبناء المعمارى
    5. الفصل 1 مقدمة لأباتشي سبارك
    6. مجموعات سبارك ونظام إدارة الموارد
    7. تطبيق سبارك Spark application
    8. الذاكرة الموحدة لسبارك spark unfied stck
    9. قلب محرك سبارك
    10. سبارك SQL
    11. البث المنتظم لبيانات سبارك spark structured streaming
    12. مكتبة spark MPlib
    13. مكتبة SparkR
    14. تطبيقات Apache Spark
    15. مثال على تطبيق سبارك Example of Spark Application
    3

    إعداد مخازن البيانات

    1. Setting up BigData Stack
    2. تشغيل نسخة امازون AWS EC2
    3. إعداد Apache Ambari
    4. أوامر لإعداد Ambari
    5. خطوة اعداد المدراء assigning masters
    6. ادوات بيانات Cloudera CDH
    7. امازون ايلاستيك ماب رديوس Amazon Elastic MapReduce (EMR)
    8. واجهة ال Azure HDInsight
    4

    أنماط البيانات الكبرى

    1. BigData Pattern
    2. مكونات التحليلات المعمارية وأنماط التصميم
    3. تسوية التحميل مع قوائم الانتظار
    4. موازنة الأحمال مع العديد من المستهلكين
    5. اختيار القائد leader election
    6. التقسيم sharding
    7. الاتساق والتوافر وتسامح التقسيم (CAP) Consistency, Availability & Partition Tolerance (CAP)
    8. فلتر بلوم bloom filter
    9. الآراء المجسدة materialized view
    10. بناء دالة المبدا Lambda Structure
    11. مجدول - وكيل – مشرف Scheduler-Agent-Supervisor
    12. الموصلات والفلاتر pipes and filters
    13. خدمة ويب web services
    14. الإجماع في الأنظمة الموزعة consensus in distributed systems
    15. أنماط MapReduce
    16. ال MapReduce
    17. تطبيقات على ال Map Reduce
    18. التلخيص العددي Numrical Summarization
    19. عدد Count
    20. القيم العظمى والصغرى Max/Min
    21. متوسط Average
    22. أعلى ن Top N
    23. المنقي أو الفلتر filter Pattern
    24. الفهرس المعكوس Inverted Index
    5

    قواعد بيانات

    1. NoSQL
    2. قواعد بيانات القيمة الرئيسية key-value database
    3. أنواع البيانات
    4. أمازون دينامو دي بي
    5. متطلبات الأداء. DynamoDB
    6. لتصميم قاعدة بيانات Dynamodb
    7. قواعد بيانات الوثيقة document database
    8. MongoDB
    9. اوامر ضبط واعداد قاعدة بيانات MonoDb
    10. اوامر ال shell لقاعدة بيانات mongoDb
    11. قواعد بيانات الأسرة العمود column Database
    12. قاعدة بيانات HBase
    13. نموذج البيانات Data Model
    14. هندسة عامة Architecture
    15. تخزين البيانات والعمليات
    16. يدعم HBase العمليات التالية
    17. مسار القراءة :Read Path
    18. مسار الكتابة write Path
    19. الضغط compactors
    20. مرشحات بلوم :bloom filters
    21. أمثلة على استخدام HBase
    22. سطر الأوامر
    23. أمثلة على HBase – Python
    24. عمل backup
    25. مؤشرات الخادم server metrix
    26. قواعد بيانات الرسم البياني graph Database
    27. قاعدة بيانات الرسم البيانى Neo4j
    6

    الاستعلام عن البيانات

    1. Data Acquisition
    2. اعتبارات الاستعلام عن البيانات
    3. نوع المصدر data source
    4. السرعة velocity
    5. آلية الابتلاع Ingestion Mechanism
    6. إطار العمل لإرسال واستقبال الرسائل
    7. تركيب النظام اباتش كافكا Apache Kafca
    8. الاجزاء partitations
    9. نشر الرسائل publishing messaging
    10. استهلاك الرسائل consuming messages
    11. تخزين السجل والضغط log storage and compacting
    12. أمازون كينيسيس
    13. أنظمة جمع البيانات الضخمة BigData collection systems
    14. أباتشي فلوم Apache Flume
    15. بناء Flume fume Architecture
    16. مصادر التدفق Flume Sources
    17. مصدر NetCat
    18. مصدر المولد
    19. مصدر سجل النظام
    20. مصدر HTTP
    21. مصدر مخصص
    22. نقاط استهلاك بيانات Flume او Flume Sinks
    23. Avro Sink
    24. File Roll Sink
    25. قنوات Flume
    26. قناة JDBC
    27. قناة الذاكرة القابلة للانسكاب
    28. قناة مخصصة
    29. محددات القناة channel Selector
    30. تكرار محدد القناة
    31. محدد قناة تعدد الإرسال
    32. محدد القناة المخصص
    33. معالجات sink processors
    34. معالج حوض موازنة التحميل
    35. معالج Failover Sink
    36. معترضات Flume
    37. أمثلة Flume
    38. اباتشي سكووب Apache Sqoop
    39. استيراد البيانات مع Sqoop
    40. تحديد البيانات المراد استيرادها
    41. موصلات مخصصة custom connectors
    42. استيراد البيانات إلى الخلية importing data to hive
    43. استيراد البيانات إلى HBase
    44. الواردات المتزايدة incremental imports
    45. تصدير البيانات مع Sqoop
    46. قوائم انتظار الرسائل Messaging Queue
    47. بروتوكول RabbitMQ
    48. مكتبة الرسائل ZeroMQ
    49. قائمة الانتظار RestMQ
    50. أمازون SQS
    51. موصلات مخصصة custom connectors
    52. موصلات قائمة على REST
    53. تنفيذ موصل مخصص قائم على REST
    54. موصلات قائمة على WebSocket
    55. موصلات قائمة على MQTT
    56. تنفيذ موصل مخصص قائم على MQTT
    57. أمازون إنترنت الأشياء Amazon IoT
    58. Azure IoT Hub
    7

    نظام هادوب للتخزين الموزع للملفات

    1. (HDFS)
    2. خصائص HDFS
    3. النسخ المتماثل Replication
    4. تدفق الوصول إلى البيانات streaming Data Access
    5. هندسة HDFS
    6. نامينود Namenode
    7. Namenode الثانوي
    8. داتانود Data Node
    9. كتل البيانات والنسخ المتماثل
    10. مسار قراءة HDFS
    11. مسار كتابة HDFS
    12. أمثلة على استخدام HDFS
    13. الوصول إلى HDFS باستخدام Python
    14. واجهة ويب HDFS
    15. تحليل الدُفعات Batch Analysis
    16. نموذج البرمجة MapReduce
    17. هادوب يارن Hadoop yarn
    18. إدارة - إلى مكونات منفصلة - ResourceManager و ApplicationMaster
    19. تطبيق Master (AM):
    20. Node Manager (NM):
    21. جدولة Hadoop
    22. جدول FIFO
    23. مجدول عادل
    24. جدولة القدرات capacity schedulers
    25. التحليل الدُفعي لبيانات المستشعر
    26. تشغيل برنامج برنامج mapreduce على هادوب كلستر
    27. تحليل الدُفعات لمجموعة بيانات N-Gram
    28. ابحث عن أفضل الكلمات مع MapReduce
    29. لغة المعالجة pig
    30. تحميل البيانات
    31. أنواع البيانات في لغة pig
    32. مترابطة بيانية
    33. نوع البيانات Bag
    34. نوع البيانات map
    35. تصفية البيانات وتحليلها
    36. نتائج التخزين storing result
    37. معاملات التصحيح debugging results
    38. بيان لعلاقة monthTemp
    39. أمثلة على لغة pig
    40. ملف تهيئة فلوم
    41. اباتشي اوزي Apache Oozie
    42. سير عمل Oozie لتحليل البيانات
    43. تطبيق reduce لحساب status/error
    44. حالة سير عمل Oozie
    45. اباتشي سبارك Apache Spark
    46. إنشاء RDDs
    47. عمليات سبارك spark operations
    48. خريطة map
    49. منقي filter
    50. عملية reduce by key
    51. عملية flatmap
    52. عينة sample
    53. اتحاد union
    54. تداخل intersection
    55. الربط join
    56. أجراءات action
    57. خفض Reduce
    58. يجمع collect
    59. عدد count
    60. أول first
    61. يأخذ take
    62. اخذ عينة take sample
    63. اباتشي سولر
    64. أمثلة Solr
    8

    تحليل البيانات فى الزمن الحقيقى

    1. Real Time Data Analysis
    2. معالجة الدفق stream processing
    3. عاصفة أباتشي Apache Storm
    4. المفاهيم
    5. تجميع البيانات grouping streams
    6. البناء Architecture
    7. معالجة موثوقة Reliable Processing
    8. دراسات حالة العاصفة storm case study
    9. قم بإنشاء موضوع كافكا
    10. قم بإنشاء جدول DynamoDB
    11. الحصول على مفاتيح تطبيق Twitter
    12. تنفيذ المستمع implement listener
    13. مشروع بناء العاصفة build storm project
    14. تنفيذ تطبيق الويب
    15. إرسال طوبولوجيا العاصفة
    16. تحليل بيانات الطقس في الوقت الحقيقي
    17. مجموعة البيانات
    18. نموذج التنبؤ Prediction pattern
    19. صنبور العاصفة storm spout
    20. عاصفة بولت storm bolt
    21. تطبيق الويب web Application
    22. معالجة في الذاكرة
    23. أباتشي سبارك
    24. عمليات النافذة
    25. نافذة او شباك
    26. تقليل reduceByWindow
    27. تقليل من خلال KeyAndWindow
    28. شرارة دراسات الحالة
    29. تحليل بيانات الاستشعار في الوقت الحقيقي
    30. تصفية البيانات
    31. تحليل آراء تويتر في الوقت الفعلي
    32. تحليل النوافذ المنبثقة من التغريدات Windowed Analysis of Tweets
    9

    الاستعلام الفعال

    1. Interactive Querying
    2. اطار spark sql
    3. اطار بيانات Hive
    4. أمازون ريد شيفت Amazon Red Shift
    5. استعلام جوجل الضخم Google BigQuery
    10

    خدمة قواعد البيانات وأطر الويب

    1. Web Frameworks
    2. قواعد البيانات العلائقية (SQL)
    3. قيود التكامل المرجعي
    4. قواعد البيانات غير العلائقية (NoSQL)
    5. أمازون دينامو دي بي Amazon Dynmodb
    6. كاساندرا Cassandra
    7. اعداد كاسندرا settingup casendra
    8. تصميم جدول باستخدام كاسندرا
    9. لقطة شاشة لاستعلام تم تنفيذه في غلاف CQL
    10. قاعدة بيانات MongoDB
    11. إطار عمل تطبيق ويب Python – Django
    12. تركيب دجانـجو Django Architecture
    13. نموذج model
    14. قالب Template
    15. العرض view
    16. إنشاء مشروع وتطبيق Django
    17. تكوين قاعدة بيانات
    18. تعريف النموذج defining a model
    19. موقع إدارة Django
    20. تعريف نموذج عرض defining view
    21. تعريف قالب defining template
    22. نموذج عرض تفاصيل موظفين
    23. نموذج عرض تفاصيل مشروع
    24. تحديد أنماط URL ( defininf url pattern
    25. التعامل مع الاخطاء Hanling Exception
    26. رفع الاخطاء Raising Errors
    11

    العمل مع اباتشى سبارك

    1. Working With Apache Sparke
    2. تحميل وتثبيت Spark
    3. تحميل Spark
    4. تثبيت سبارك على ويندو 10
    5. المتطلبات الأساسية
    6. موجه الأوامر أو Powershell
    7. اختبار Spark
    8. تشغيل نافذة اوامر سبارك بايثون spark python shell
    9. الاستمتاع باوامر نافذة Scala Spark
    10. أوامر مفيدة ونصائح سبارك سكالا شل
    11. الاوامر التفاعلية الأساسية مع سكالا وسبارك
    12. اوامر التعامل مع Scala
    13. تعلم Spark
    14. مقدمة في Databricks
    15. تكوين الكتلة creating cluster
    16. إنشاء مجلد creating folder
    17. إنشاء دفتر ملاحظات creating a Notebook
    18. دليلا على انشاء النوت بوك
    19. إعداد سورس كود سبارك setting up spark source code

    Livres associés