Big Data

Comment analyser les données massives

Science des Données4.3(88)7h 7min50 leçons5 sections

Ce que vous apprendrez

  • Comprendre les sources du Big Data
  • Traiter les données non structurées et intégrer les données
  • Connaître les caractéristiques du Big Data
  • Construire une stratégie Big Data
  • Utiliser le système Hadoop et le modèle Mapreduce
  • Installer Cloudera et travailler avec le système de fichiers distribué
  • Comprendre la relation entre l'apprentissage automatique et le Big Data
  • Utiliser Knime et Jupyter
  • Explorer les données et améliorer leur qualité
  • Traiter les données manquantes

À propos du cours

Ce cours enseigne le Big Data, c'est-à-dire comment collecter de grandes quantités de données, les analyser et les utiliser pour en tirer des informations utiles. Vous commencez par des applications qui donnent de la valeur aux données, puis les sources du Big Data issues des machines, des personnes et des organisations, et le traitement des données non structurées et leur intégration. Ensuite, vous découvrez les caractéristiques du Big Data, à savoir le volume, la variété, la vélocité, la véracité et la valeur, ainsi que la science des données, la construction d'une stratégie Big Data et les étapes de traitement. Vous passez ensuite au calcul distribué, au système Hadoop, au système de fichiers distribué et au modèle Mapreduce, avec l'installation de Cloudera et une application pratique. Vous apprenez après cela la relation entre l'apprentissage automatique et le Big Data, l'installation de Knime et l'utilisation de Jupyter, l'exploration des données, leur préparation, l'amélioration de leur qualité et le traitement des données manquantes. Le cours convient aux débutants en analyse de données et à toute personne qui travaille avec des données ou veut entrer dans ce domaine sans expérience préalable. À la fin, vous comprendrez comment fonctionne le Big Data et vous saurez l'explorer, le préparer et l'analyser avec les outils cités.

Résultats attendus

  • Maîtrisez la collecte et l'analyse des grandes données à l'aide de techniques modernes.
  • Comprenez comment utiliser Hadoop pour la gestion des données distribuées.
  • Appliquez des techniques d'apprentissage automatique pour analyser les grandes données.
  • Maîtrisez les outils d'exploration des données comme Knime et Jupyter.
  • Développez des projets pratiques basés sur l'analyse des grandes données.

Avis des apprenants

Ces avis proviennent d'apprenants qui ont acheté le contenu et en ont complété au moins 50% — il n'y a aucun avis de personnes n'ayant pas suivi le contenu.
4.3
★★★★☆
88 avis
5★
29
4★
57
3★
2
2★
0
1★
0
  • ★★★★★Seba·منذ 3 شهرشاهد 50٪

تم عرض كل التقييمات (1)

Contenu du cours

1

Sources de Données Massives

8 leçons
  1. IntroductionDéfinit le Big Data comme un flux de données continu et en croissance rapide, et le relie au supercalculateur et au cloud computing, qui permettent de stocker, traiter et analyser ces données.7:04
  2. Applications qui ajoutent de la valeur aux donnéesPrésente des applications où le Big Data prend de la valeur, comme l'analyse des avis clients et des sentiments pour améliorer les produits, et l'analyse du génome humain en médecine avec ses énormes besoins de stockage.13:25
  3. Sources de données massivesIdentifie les trois sources du Big Data : machines, personnes et organisations, avec des exemples pour chacune, et précise que les données peuvent être structurées, semi-structurées ou non structurées.2:42
  4. Machines comme sources de donnéesExplique les machines comme principale source de Big Data, comme les capteurs, avions, caméras et GPS, les appareils intelligents et l'Internet des objets, et l'intérêt d'analyser leurs données, par exemple détecter une maladie tôt.7:01
  5. Personnes comme sources de donnéesExplique les personnes comme source de Big Data, le plus souvent non structurée (publications, photos, vidéos, e-mails), et les défis liés à son volume, sa vélocité, son organisation et son coût d'analyse.5:46
  6. Travailler avec des données non structuréesExplique le traitement des données non structurées produites par les gens avec Hadoop, Storm, Spark et des bases NoSQL comme Neo4j et Cassandra, et les étapes pour en tirer de la valeur.5:38
  7. Organisations comme sources de donnéesExplique les organisations comme source de Big Data, avec des données structurées stockées dans des bases relationnelles et interrogées en SQL, souvent cloisonnées entre services, le cloud résolvant ce problème d'isolement.7:08
  8. Intégration des donnéesExplique comment combiner les données dans Tableau de deux façons : la jointure de tables liées avec des types comme inner et left, et l'union pour empiler des données similaires de feuilles ou sources différentes.4:46
2

Caractéristiques des Données Massives

7 leçons
  1. Introduction aux caractéristiques des grandes donnéesPrésente les critères qui caractérisent le Big Data : volume, variété, vélocité, véracité et valence, ainsi que la valeur et la façon dont individus, entreprises et société en profitent.2:59
  2. VolumeExplique le volume comme premier critère du Big Data, les unités de mesure du mégaoctet au zettaoctet, et les défis d'un grand volume : stockage, récupération, transfert, réseau, coût et performance.5:20
  3. VariétéExplique la variété comme critère du Big Data et son lien avec la complexité, avec ses quatre dimensions : structurelle, média, sémantique et disponibilité, en prenant un e-mail comme exemple d'objet de données sous plusieurs formes.5:14
  4. VélocitéExplique la vélocité comme critère du Big Data pour la création, le stockage et l'analyse des données, la différence entre traitement en temps réel et par lots, et l'effet de la vitesse sur le coût.5:42
  5. VéracitéExplique la véracité comme critère de qualité et de fiabilité du Big Data, la baisse de précision quand le volume et les sources augmentent, et l'importance de la mesurer, comme dans l'erreur de Google.7:52
  6. ÉquitéExplique la valence comme critère du Big Data exprimant l'interconnexion des données, l'origine chimique du terme, et comment une plus forte connexion complexifie la modélisation et l'analyse.4:34
  7. ValeurExplique la valeur comme dernière caractéristique du Big Data et applique les six caractéristiques à l'exemple du jeu Catch the Pink Flamingo, du volume, variété et vélocité à la véracité et la valence.7:15
3

Étapes d'Analyse des Données

4 leçons
  1. Science des donnéesExplique la Data Science et comment elle transforme le Big Data en connaissances et décisions, les disciplines dont elle est issue, et les compétences techniques, métier et humaines du data scientist.10:19
  2. Construire une stratégie de grandes donnéesExplique comment bâtir une stratégie Big Data : ses quatre éléments (objectif, politique, plan, action), objectifs à court et long terme, adhésion de l'organisation, étapes de mise en œuvre, et politiques de durée de vie et de qualité des données.7:55
  3. Les cinq composants de la science des donnéesExplique les cinq composantes de la data science : personnes, finalité, processus, plateformes et programmabilité, et le rôle de chacune pour tirer de la valeur du Big Data.5:43
  4. Étapes de traitement des donnéesExplique les étapes du processus de data science : acquisition des données, préparation (exploration et prétraitement), analyse, puis présentation des résultats avec des rapports et des outils de visualisation.8:33
4

Travailler avec Hadoop

12 leçons
  1. Système d'exploitation distribuéPrésente les bases des systèmes distribués avant Hadoop : répartition des données sur des nœuds et des racks, réplication pour la tolérance aux pannes, et gestion de la difficulté de modifier les données.10:26
  2. Processus de calcul distribuéExplique le calcul sur un seul nœud ou sur des nœuds parallèles, les commodity clusters, le calcul distribué via Internet, le parallélisme des données et la tolérance aux pannes de nœuds et de racks grâce à la connexion parallèle.8:02
  3. Modèles de programmation pour les grandes donnéesExplique les modèles de programmation pour le Big Data et leurs exigences, puis MapReduce, un modèle qui répartit le traitement et regroupe les résultats, avec prise en charge des gros volumes, des erreurs et de la montée en charge.7:36
  4. Pourquoi Hadoop ?Explique pourquoi utiliser Hadoop et ses objectifs : évolutivité, gestion des pannes, prise en charge de types de données variés, exécution de tâches simultanées et création de valeur, avec un aperçu de ses composants à venir.4:33
  5. Explication du système HadoopExplique l'écosystème Hadoop et son histoire depuis le MapReduce de Google, ses couches de HDFS en bas jusqu'à Hive et Pig, des outils comme ZooKeeper et les bases NoSQL, et des distributions comme Cloudera.13:39
  6. Système de fichiers distribué dans HadoopExplique le système de fichiers distribué HDFS de Hadoop : découpage des gros fichiers en blocs, réplication pour gérer les pannes de nœuds, et ses deux composants NameNode et DataNode en relation maître-esclave.7:42
  7. Gestion des ressourcesExplique YARN comme gestionnaire de ressources de Hadoop travaillant avec HDFS pour exécuter plusieurs applications comme MapReduce et Spark, sa conception avec Resource Manager et Node Manager, et ce qu'il apporte par rapport à la première version.7:29
  8. Modèle de programmation MapReduce le plus simpleExplique MapReduce comme le modèle de programmation Big Data le plus simple : Map produit des paires clé-valeur sur chaque fichier, puis mélange et tri, puis Reduce agrège les valeurs, avec un exemple de comptage de mots.10:56
  9. Informatique ComputationnelleExplique le cloud computing et comment il a rendu possible le travail avec le Big Data, en louant des ressources via Internet selon les besoins plutôt qu'en achetant du matériel, ce qui apporte évolutivité et gestion des ressources.9:28
  10. Installation de ClouderaMontre l'installation de Cloudera sur une machine virtuelle avec Oracle VM VirtualBox, du téléchargement et de l'import du fichier à son lancement, puis présente les outils Hadoop inclus comme Spark, NameNode et YARN.10:35
  11. Travailler avec le Système de Fichiers Distribué dans ClouderaExplique l'utilisation de HDFS depuis le terminal dans Cloudera avec des commandes Hadoop pour copier un fichier du local vers HDFS, lister les fichiers, les supprimer et les recopier en local.11:33
  12. Application PratiqueUn exercice pratique sur Hadoop exécutant l'exemple Word Count en MapReduce : définition des fichiers d'entrée et de sortie, consultation du dossier de sortie et du fichier de résultat, et sauvegarde du travail dans Cloudera et VirtualBox.16:07
5

Apprentissage Automatique et Données Massives

19 leçons
  1. Un Aperçu de l'Apprentissage AutomatiqueDéfinit le Machine Learning comme la construction de systèmes qui apprennent des données sans programmation explicite, avec des exemples du quotidien comme la lecture de chiffres manuscrits, et sa différence avec le Data Mining et la Data Science.11:43
  2. Apprentissage Automatique et Big DataExplique les techniques de Machine Learning les plus connues : classification, régression, analyse de clusters et analyse d'association, et la différence entre apprentissage supervisé et non supervisé selon que la cible est définie ou non.14:02
  3. Opérations Réalisées avec l'Apprentissage AutomatiquePasse en revue les étapes du processus de Machine Learning : acquisition, exploration et prétraitement des données, puis construction et test du modèle sur un échantillon aléatoire, avec répétition des étapes si le modèle n'atteint pas l'objectif.8:41
  4. Extraction de DonnéesExplique la méthodologie CRISP-DM pour la fouille de données et ses phases : compréhension du métier, des données, préparation, modélisation et évaluation, avec retour à la compréhension du métier si les résultats ne conviennent pas.9:26
  5. Aperçu des Programmes et OutilsPrésente les outils de Machine Learning pour le Big Data : KNIME, plateforme graphique par glisser-déposer avec des nœuds reliés dans un workflow, et Spark MLlib, qui repose sur l'écriture de code.9:29
  6. Installation de KnimeMontre comment télécharger et installer KNIME, puis utiliser le Node Repository et glisser des nœuds comme Excel Reader dans le workflow pour les configurer, avec un exemple de séparation des données entre entraînement et test.13:22
  7. Travailler avec JupyterExplique le téléchargement de Spark et Anaconda, le lancement de Jupyter Notebook et Jupyter Lab, la gestion et le téléversement des fichiers de projet, et l'écriture de code Python dans le navigateur pour traiter les données.9:34
  8. Fonctionnalités et DonnéesExplique les termes de base des données en Machine Learning : feature et sample et leurs autres appellations, et la différence entre variables numériques et catégorielles, avec des exemples de tableaux.8:24
  9. Exploration de DonnéesExplique l'exploration des données et ses objectifs, ses techniques de statistiques récapitulatives et de visualisation, et ce qu'elle révèle : corrélations, tendances, plages de valeurs et valeurs aberrantes.5:38
  10. Statistiques DescriptivesExplique les statistiques récapitulatives et leurs catégories : mesures de centre comme la moyenne et la médiane, mesures de dispersion comme l'écart-type, la variance et l'étendue, ainsi que la forme et la dépendance entre variables.11:53
  11. Validation des DonnéesExplique l'utilisation d'un tableau de contingence pour décrire les variables catégorielles, et les questions de validation rapide des données : nombre de lignes et de colonnes, validité des dates et valeurs manquantes avant le traitement.8:30
  12. Visualisations ExploratoiresExplique la visualisation des données lors de l'exploration à travers différents graphiques : Histogram pour le centre et la distribution des données, Scatter Plot pour la relation entre deux variables et les valeurs aberrantes, Box Plot pour comparer les distributions.13:56
  13. Utiliser la Visualisation avec KnimeUn exercice pratique KNIME sur l'exploration des données : création d'un Workflow, lecture du fichier Daily Weather.csv, puis tracé d'un Histogram et d'un Scatter Plot de la température de l'air et de l'humidité relative, révélant une corrélation négative.8:59
  14. Préparation des DonnéesExplique l'importance de la préparation des données avant l'analyse et ses objectifs, les problèmes de qualité (valeurs manquantes, doublons, bruit, valeurs aberrantes) et le Data Wrangling avec ses deux catégories : sélection et transformation des variables.5:04
  15. Qualité des DonnéesPrésente les principaux problèmes de qualité des données : valeurs manquantes, doublons, données invalides ou incohérentes, bruit et valeurs aberrantes, et leur effet négatif sur les résultats de l'analyse, d'où la nécessité de les traiter d'abord.4:40
  16. Techniques de Traitement de la Qualité des DonnéesExplique les techniques de traitement de la qualité des données : suppression des échantillons à valeurs manquantes ou imputation de valeurs plausibles, fusion des doublons, correction des données invalides via une autre source et gestion des valeurs aberrantes.6:51
  17. Identification des caractéristiquesExplique la sélection des variables dans la préparation des données : suppression des variables très incomplètes ou inutiles comme l'ID, combinaison de variables, création de nouvelles variables et recodage, par exemple le regroupement de l'âge en catégories.10:05
  18. Transformation des caractéristiquesExplique la transformation des variables et son but : mise à l'échelle par changement de la plage des valeurs, réduction du bruit par des filtres sur le son et les images, et agrégation des valeurs, afin de simplifier les données avant l'analyse.7:03
  19. Application pratique sur les données manquantesUn exercice pratique KNIME pour traiter les valeurs manquantes avec trois solutions : supprimer les échantillons incomplets d'une colonne donnée, les remplacer par la moyenne de la colonne, ou supprimer tous les échantillons incomplets, avec comparaison des Histogram avant et après.17:01

Formateur

Ing. Amr Abdel Fattah

Ing. Amr Abdel Fattah

Ingénieur en systèmes informatiques spécialisé dans le développement d'applications mobiles et de sites Web, avec une expérience dans la création de plateformes et d'applications Web populaires.
49.1K vues20 cours

Ce cours fait partie du diplôme

Cours similaires