Batch-Daten-Pipeline-Engineering auf Cloud-Plattform

Moderne Unternehmen sind auf zeitnahe, genaue Daten angewiesen, um Entscheidungen zu treffen. Die Verwaltung umfangreicher Stapelverarbeitung bleibt jedoch eine komplexe architektonische Herausforderung. Dieser Kurs bietet einen klaren Weg, um zu verstehen, wie man mit großen Datensätzen effektiv mit einer professionellen Cloud-Infrastruktur umgeht. Sie lernen, robuste Datenpipelines zu entwerfen und auszuführen und Rohdatensätze mithilfe von Industriestandard-Tools und serverlosen Technologien in umsetzbare Erkenntnisse zu verwandeln.Durch den Fokus auf skalierbares Design und effiziente Orchestrierung erwerben Sie die Fähigkeiten, die erforderlich sind, um zuverlässige Daten für Business Intelligence und Reporting bereitzustellen. Was Sie lernen werden: - Verstehen Sie die grundlegenden Prinzipien der Stapelverarbeitung und der Datenpipeline-Architektur - Implementieren Sie skalierbare Datentransformationen mit Dataflow und Apache Beam - Konfigurieren Sie serverlose Spark-Umgebungen mit Dataproc für ein effizientes Ressourcenmanagement - Orchestrieren Sie komplexe Workflows, um eine zuverlässige und automatisierte Datenbereitstellung sicherzustellen - Wenden Sie Datenqualitätsprüfungen und Überwachungspraktiken an, um den Pipeline-Status aufrechtzuerhalten - Integrieren Sie CI / CD-Prinzipien für das automatisierte Testen und Bereitstellen von Datenworkflows Der Kurs beginnt mit der grundlegenden Terminologie und den grundlegendsten Konzepten, bevor er sich auf die praktischen Implementierungsstrategien für die Verarbeitung großer Datenmengen und die Automatisierung von Arbeitsabläufen konzentriert. Dieser Kurs wurde für angehende Dateningenieure und -analysten entwickelt und ist für Anfänger ohne Vorkenntnisse in der Cloud-Infrastruktur oder im Pipeline-Design zugänglich.