Erstellen von Streaming-Daten-Pipelines mit Kafka und Spark

In der heutigen datengesteuerten Welt ist die Verarbeitung von Daten bei ihrem Eingang entscheidend für die rechtzeitige Entscheidungsfindung.Dieser Kurs führt Sie durch die Grundlagen des Aufbaus robuster Echtzeit-Datenstreaming-Pipelines mit branchenüblichen Tools. Sie lernen, wie Sie die Nachrichtenvermittlungsleistung von Kafka mit der analytischen Stärke von Spark Structured Streaming kombinieren, um kontinuierliche Datenströme effizient und zuverlässig zu erfassen, zu verarbeiten und zu speichern.Sie lernen auch, wie man die Daten in einem Stream zusammenführt, um eine vollständige Datenbank zu erstellen. Was Sie lernen werden: - Verstehen Sie die grundlegende Architektur von Echtzeit-Datenströmen und ereignisgesteuerten Systemen. - Konfigurieren Sie Kafka-Themen, -Produzenten und -Konsumenten, um Datenfeeds mit hohem Durchsatz zu verwalten. - Wenden Sie Kafka Connect an, um Webprotokolle und externe Datenquellen nahtlos zu erfassen. - Erstellen Sie Spark Structured Streaming-Anwendungen, um Live-Daten im laufenden Betrieb zu verarbeiten und zu transformieren. - Integrieren Sie Kafka mit Spark, um inkrementelle Datenverarbeitung und zustandsorientierte Transformationen zu verarbeiten. - Schreiben Sie verarbeitete Streams in moderne Speicherschichten wie Delta Lake und verteilte Dateisysteme. Der Kurs beginnt mit Kerndefinitionen und der Einrichtung einer lokalen Umgebung unter Verwendung moderner Container-Workflows. Anschließend gehen Sie Schritt für Schritt von der grundlegenden Kafka-Messaging-Funktionalität zur erweiterten Spark-Integration über. Anhand schriftlicher Erklärungen und klarer Code-Snippets lernen Sie, eine durchgängige Pipeline zu erstellen. Dieser Kurs ist für angehende Dateningenieure und Entwickler konzipiert und erfordert keine Vorkenntnisse im Bereich Streaming.Wir beginnen mit den absoluten Grundlagen und der Schlüsselterminologie, bevor wir uns der praktischen Konfiguration und dem strukturierten Code zuwenden. Beginnen Sie noch heute mit dem Lesen, um die Kerntechnologien zu meistern, die das moderne Echtzeit-Data-Engineering unterstützen.