Data Engineering Pipelines und Workflow-Orchestrierung

Mit zunehmendem Datenvolumen wird die manuelle Datenverarbeitung schnell unhaltbar.In diesem Kurs lernen Sie, wie Sie vom Schreiben einfacher Skripte zum Entwerfen von Datenpipelines auf Produktionsniveau übergehen.In dieser Schulung lernen die Teilnehmer, wie sie Daten-Workflows automatisieren, planen und skalieren können. Sie erfahren, wie Sie komplexe Aufgaben orchestrieren, verteilte Warteschlangen verwalten und sicherstellen, dass Ihre Datenverarbeitung auch bei hohen Lasten ausfallsicher bleibt. Was Sie lernen werden: - Verstehen Sie die grundlegenden Konzepte der Datenorchestrierung, Workflow-DAGs und verteilten Aufgabenwarteschlangen. - Konfigurieren Sie Apache Airflow, um komplexe Datenpipelines zu planen, zu überwachen und zu verwalten. - Implementieren Sie Sellerie und RabbitMQ, um die Aufgabenausführung auf mehrere Mitarbeiter für die Hochdurchsatzverarbeitung zu verteilen. - Wenden Sie die Grundlagen der Containerisierung an, um Ihre Datenpipelines konsistent zu verpacken und bereitzustellen. - Erkunden Sie moderne, leistungsstarke Datenverarbeitungsbibliotheken wie Polars neben traditionellen Pipelines. - Entwerfen Sie Fehlerbehandlung, Wiederholungsrichtlinien und Überwachungssysteme, um Ihre Workflows reibungslos zu halten. Dieser Kurs beginnt mit der grundlegenden Terminologie und Architektur, bevor Sie durch schriftliche Erklärungen zur Konfiguration, Ausführung und Fehlerbehebung Ihrer eigenen orchestrierten Pipelines geführt werden.Er richtet sich an angehende Dateningenieure und Entwickler mit grundlegendem Programmierwissen, die lernen möchten, wie sie die Dateninfrastruktur skalieren können. Keine Vorkenntnisse mit Orchestrierungstools erforderlich.Lesen Sie noch heute, um zuverlässige, selbstheilende Datenpipelines zu erstellen, die Ihren Anforderungen entsprechen.