Streaming-Daten-Pipelines und Echtzeit-Analysen

Moderne Organisationen generieren Daten jede Sekunde. Warten auf die Stapelverarbeitung ist für zeitkritische Entscheidungen keine Option mehr. Dieser Kurs führt Sie in die Architektur und Implementierung von Streaming-Systemen ein, die kontinuierliche, unbegrenzte Datenflüsse effizient verarbeiten. Sie erhalten eine solide Grundlage für die Architektur von Pipelines, die Daten in Echtzeit aufnehmen, verarbeiten und speichern.Am Ende dieses Kurses werden Sie in der Lage sein, Systeme zu entwerfen, die Rohdatenströme in umsetzbare Business Intelligence umwandeln, wenn die Daten eintreffen. Was Sie lernen werden: - Verstehen Sie die grundlegenden Unterschiede zwischen Batch- und Streaming-Datenarchitekturen - Konfigurieren Sie Pub / Sub für die Aufnahme und Verteilung von Nachrichten mit hohem Durchsatz - Erstellen Sie Verarbeitungslogik mit Dataflow, um Daten im laufenden Betrieb zu transformieren und zu bereinigen - Wenden Sie Fensterstrategien an, um Daten über bestimmte Zeitintervalle hinweg zu aggregieren und zu analysieren - Verwalten Sie verspätete Daten und sorgen Sie für Systemzuverlässigkeit mit Wasserzeichen und Triggern - Speichern Sie verarbeitete Ergebnisse in BigQuery für sofortige Analyse und Berichterstellung Der Kurs beginnt mit der grundlegenden Terminologie und der Kerntheorie des Streamings. Anschließend werden die praktischen Schritte zur Konfiguration und Bereitstellung einer funktionierenden Datenpipeline erläutert. Sie erfahren, wie diese Komponenten zusammenwirken, um eine hohe Verfügbarkeit und eine niedrige Latenz aufrechtzuerhalten. Dieser Kurs richtet sich an Anfänger im Bereich Data Engineering oder Analytics, die moderne Datenbewegungen verstehen möchten. Es sind keine Vorkenntnisse mit Streaming-Tools erforderlich. Bauen Sie noch heute Ihre Expertise im Echtzeit-Data-Engineering auf.