Tworzenie potoków danych bezserwerowych za pomocą Dataflow

Nowoczesna inżynieria danych opiera się na wydajnych, skalowalnych potokach, które przetwarzają ogromne zbiory danych bez zarządzania złożoną infrastrukturą serwerową. Ten kurs tekstowy prowadzi przez budowanie potoków przetwarzania danych bez serwera za pomocą Dataflow i modelu programowania Apache Beam. Będziesz przechodzić od zrozumienia podstawowych pojęć danych do projektowania, pisania i wykonywania własnych solidnych potoków. Dzięki jasnym pisemnym wyjaśnieniom, praktycznym przykładom kodu i uporządkowanym przewodnikom logicznym zdobędziesz umiejętności potrzebne do wydajnego przetwarzania danych wsadowych i strumieniowych. Co się nauczysz: Zrozum podstawowe pojęcia przetwarzania danych bez serwera, w tym biegaczy, potoków i kolekcji; Napisz kod potoku Apache Beam, aby przekształcić, filtrować i agregować zestawy danych; Wdrożyć strategie okien i wyzwalania w celu obsługi późno przybywających danych strumieniowych; Skonfiguruj potoki do odczytu i zapisu do różnych Optymalizuj wydajność potoków danych i rozwiązuj typowe problemy z wąskimi gardłami w wykonywaniu. Kurs rozpoczyna się od podstawowych definicji architektur rurociągów i podstawowych prymitywnych programów. Następnie przejdziesz krok po kroku przez samouczki pisemne obejmujące transformacje, okna i najlepsze praktyki wdrażania produkcji. Ten kurs jest przeznaczony dla początkujących inżynierów danych i programistów, którzy są nowi w Dataflow. Nie jest wymagane wcześniejsze doświadczenie w tworzeniu potoków, chociaż pomocna jest podstawowa znajomość koncepcji programowania. Zacznij czytać już dziś, aby budować skalowalne, gotowe do produkcji potoki danych bezserwerowych.