MapReduce Systemarchitektur und Detailplanung

Der Umgang mit riesigen Datensätzen erfordert ein tiefes Verständnis von verteilten Systemen. Dieser reine Textkurs entmystifiziert die Kernarchitekturmuster hinter der verteilten Datenverarbeitung und konzentriert sich auf das detaillierte Design von MapReduce-Systemen. Sie werden von der Kenntnis grundlegender Datenkonzepte zu einem genauen Verständnis übergehen, wie groß angelegte Berechnungen über Maschinencluster hinweg koordiniert, geplant und ausgeführt werden. Was Sie lernen werden: - Verstehen Sie die grundlegenden Konzepte des verteilten Speichers und der parallelen Berechnung - Analysieren Sie die Mechanik der Zuordnung, des Mischens, der Sortierung und der Reduzierung von Phasen in einer Verarbeitungspipeline - Konfigurieren Sie Fehlertoleranzmechanismen, Aufgabenwiederholungen und spekulative Ausführungsstrategien - Üben Sie das Entwerfen von Datenflüssen, die die Netzwerkbandbreite optimieren und Festplatten-E / A-Engpässe minimieren - Erfahren Sie, wie moderne Ressourcenmanager verteilte Cluster-Workloads koordinieren - Erkunden Sie moderne Erweiterungen des Paradigmas, einschließlich grundlegender vektorbasierter paralleler Verarbeitungskonzepte Dieser Kurs beginnt mit der grundlegenden Terminologie und definiert, wie verteilte Cluster kommunizieren und den Status verwalten, bevor Sie in den schrittweisen Ausführungsablauf eines MapReduce-Jobs eintauchen. Sie werden detaillierte Architekturuntersuchungen lesen, Systemdesign-Kompromisse analysieren und codebasierte Darstellungen verteilter Algorithmen studieren. Dieser Kurs richtet sich an Softwareentwickler, Dateningenieure und Systemarchitekten, die noch nicht mit verteilten Systemen vertraut sind und ein starkes Grundverständnis für großflächige Datenverarbeitungsarchitekturen aufbauen möchten. Vorkenntnisse im Cluster Computing sind nicht erforderlich. Beginnen Sie noch heute mit dem Lesen, um die zugrunde liegenden Designprinzipien verteilter Datensysteme zu meistern.