Inżynieria danych z Apache Beam i Dataflow: budowanie potoków wsadowych

Apache Beam oferuje zaawansowany, ujednolicony model definiowania potoków danych, które można bez wysiłku uruchamiać w zarządzanych usługach chmurowych, takich jak Dataflow. Ten pisemny kurs przeprowadzi Cię przez podstawowe koncepcje przetwarzania danych, zabierając Cię z lokalnego rozwoju potoku do wdrożenia w skali chmury.Dowiesz się, jak pisać czysty, łatwy w utrzymaniu kod potoku za pomocą zestawu SDK Apache Beam Python, stosować transformacje i organizować przepływy pracy danych w środowisku chmurze. Czego się nauczysz: - Zapoznaj się z podstawowymi pojęciami potoków danych, w tym PCollections, Transforms, Pipeline Runners i złączami I / O. - Skonfiguruj lokalne środowisko programistyczne Pythona przy użyciu nowoczesnych środowisk wirtualnych i zależności SDK. - Zastosuj transformacje, aby wyodrębnić, wyczyścić i sformatować dane za pomocą wbudowanych funkcji Apache Beam. - Zaimplementuj wskazówki typu Python, aby zapewnić bezpieczeństwo rurociągu, czytelność kodu i solidne schematy danych. - Wdrażaj potoki przetwarzania wsadowego do Dataflow w chmurze, aby uzyskać w pełni zarządzane, automatyczne skalowanie. - Przetestuj i zdebuguj kod rurociągu lokalnie przed przeniesieniem go do środowisk produkcyjnych. Zaczniesz od opanowania podstawowych terminów i lokalnego wykonywania potoku, stopniowo przechodząc do zaawansowanej logiki transformacji.Na koniec poznasz integrację z chmurą, nauczysz się konfigurować uprawnienia i wdrażać kod do uruchamiania w zarządzanej infrastrukturze chmury. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i analityków danych, którzy mają podstawową wiedzę na temat Pythona i chcą nauczyć się przetwarzania danych w chmurze.Nie jest wymagane wcześniejsze doświadczenie z Apache Beam lub potokami danych w Chmurze. Zacznij czytać już dziś, aby zbudować swój pierwszy skalowalny potoczek danych od podstaw.