Skalierbare Datenverarbeitung: Systeme und Algorithmen

Um Erkenntnisse aus riesigen, komplexen Daten zu gewinnen, müssen Sie die verteilten Systeme und skalierbaren Algorithmen verstehen, die die Grundlage moderner Datenplattformen bilden. Dieser Kurs bietet eine klare, textbasierte Einführung in die Welt der Manipulation von Daten in großem Umfang.Sie werden vom Schreiben von grundlegenden Datenskripten zum Verständnis übergehen, wie verteilte Datenbanken, parallele Verarbeitungsmaschinen und moderne Abfragesprachen Gigabytes und Terabytes an Daten verarbeiten. Sie erhalten den konzeptionellen Rahmen, der erforderlich ist, um die richtigen skalierbaren Architekturen für analytische Herausforderungen in der Praxis auszuwählen und anzuwenden. Was Sie lernen werden: - Verstehen Sie die Grundprinzipien verteilter Systeme, paralleler Datenbanken und Skalierbarkeit. - Wenden Sie grundlegende Datenmanipulationsalgorithmen zum Sortieren, Filtern und Verbinden großer Datensätze an. - Vergleichen Sie traditionelle relationale Datenbanken mit modernen NoSQL- und Schlüsselwertspeichersystemen. - Erkunden Sie moderne Hochleistungsdatentools, einschließlich Spaltenformate und moderne Dataframe-Bibliotheken. - Analysieren Sie das MapReduce-Programmiermodell und seine Entwicklung zu modernen verteilten Compute-Engines. - Üben Sie die Optimierung von Datenpipelines für Effizienz, Fehlertoleranz und kostengünstige Verarbeitung. Sie lernen die grundlegenden Definitionen von Skalierung, Speicher und parallelem Computing kennen. Anschließend tauchen Sie ein in die Algorithmen und Systeme, die Workloads auf Cluster verteilen. Anhand klarer schriftlicher Erläuterungen und praktischer Codebeispiele lernen Sie, wie Sie robuste Pipelines entwerfen, die Daten effizient im großen Maßstab verarbeiten. Dieser Kurs richtet sich an Anfänger, die ihre Kenntnisse in der Datenanalyse erweitern möchten, sowie an Data Engineers und Softwareentwickler, die sich mit der Datenverarbeitung vertraut machen möchten. Beginnen Sie noch heute mit dem Lesen, um eine starke Grundlage für skalierbare Datensysteme und Algorithmen zu schaffen.