Bezobsługowe przetwarzanie danych z Dataflow i Beam

Nowoczesna inżynieria danych wymaga zdolności do wydajnego przetwarzania ogromnych zbiorów danych bez konieczności zarządzania skomplikowaną infrastrukturą. Ten kurs tekstowy przeprowadzi Cię przez fundamentalne pojęcia bezobsługowego (serverless) przetwarzania danych przy użyciu Dataflow i Apache Beam SDK. Rozpoczniesz od podstawowej terminologii i zrozumienia struktury potoków, zanim przejdziesz do praktycznego tworzenia potoków. Po ukończeniu tego kursu będziesz w stanie projektować, pisać i uruchamiać własne bezobsługowe potoki danych zarówno dla danych wsadowych (batch), jak i strumieniowych (streaming). Czego się nauczysz: Zrozumiesz kluczowe pojęcia Beam, w tym PCollections, przekształcenia (transforms), programy wykonawcze (pipeline runners) oraz model wykonywania; Napiszesz własne potoki przetwarzania danych przy użyciu Beam SDK w celu czyszczenia, przekształcania i agregowania danych; Skonfigurujesz potoki do obsługi zarówno historycznych plików wsadowych, jak i źródeł danych strumieniowych w czasie rzeczywistym; Wdrożysz nowoczesne wzorce potoków, w tym okienkowanie (windowing), wyzwalacze (triggers) i wejścia boczne (side inputs); Wdrożysz potoki w Dataflow, aby wykorzystać automatyczne skalowanie i bezobsługowe wykonywanie. Kurs rozpoczyna się od niezbędnych fundamentów teoretycznych, wyjaśniających działanie przetwarzania rozproszonego, a następnie prowadzi Cię krok po kroku przez pisanie kodu potoku, obsługę błędów i optymalizację wydajności. Ten kurs jest przeznaczony dla osób początkujących w inżynierii danych, programistów oraz analityków danych, którzy chcą nauczyć się bezobsługowego przetwarzania danych. Podstawowa znajomość programowania w Python lub Java jest pomocna, ale nie jest wymagane żadne wcześniejsze doświadczenie w chmurowej inżynierii danych. Zacznij czytać już dziś, aby opanować bezobsługowe potoki danych.