Traitement Big Data avec Hadoop et MapReduce

Le traitement de volumes massifs d'informations nécessite des frameworks spécialisés conçus pour l'échelle distribuée et la tolérance aux pannes. Ce cours basé sur du texte introduit les concepts clés du Big Data et fournit une compréhension fondamentale claire de l'informatique distribuée à l'aide de Hadoop. Vous commencerez par apprendre la terminologie essentielle, les concepts d'architecture de cluster et la manière dont le stockage distribué gère les données sur plusieurs nœuds. En terminant ce cours, vous comprendrez comment organiser, stocker et transformer efficacement de grands ensembles de données en utilisant des paradigmes distribués établis. Ce que vous apprendrez : * Comprendre la terminologie du Big Data, les concepts des systèmes distribués et l'architecture des clusters. * Maîtriser la mécanique de stockage HDFS, la distribution des blocs et les stratégies de réplication des données. * Appliquer le modèle de programmation MapReduce pour diviser, traiter et agréger de grands ensembles de données. * Comparer les approches de stockage traditionnelles avec les formats colonnaires modernes comme Parquet. * Comprendre l'allocation des ressources du cluster et la planification des tâches à l'aide de YARN. * Mettre en œuvre des techniques pratiques de partitionnement et d'optimisation des données pour les tâches distribuées. Le cours commence par des concepts et des définitions fondamentaux avant de progresser à travers des explications textuelles claires, des présentations architecturales et des extraits de code. Conçu pour les débutants, les développeurs de logiciels et les analystes de données, aucune expérience préalable des systèmes distribués n'est requise. Commencez à construire votre base de Big Data dès aujourd'hui.