Modelowanie danych wsadowych przy użyciu Cloud Dataflow i Apache Beam

Nowoczesna inżynieria danych wymaga umiejętności wydajnego przetwarzania ogromnych zbiorów danych bez konieczności zarządzania złożoną infrastrukturą. Ten kurs tekstowy przeprowadzi Cię przez podstawowe koncepcje budowania solidnych potoków danych wsadowych przy użyciu Cloud Dataflow i Apache Beam. Zaczniesz od zrozumienia, jak projektować przenośne i skalowalne przepływy pracy, które z łatwością obsługują transformacje danych oraz prognozy modeli. Czego się nauczysz: Zrozumiesz podstawową architekturę Cloud Dataflow i bezserwerowego przetwarzania danych; Napiszesz przenośne potoki wsadowe przy użyciu Apache Beam SDK; Wdrożysz techniki transformacji, grupowania i agregacji danych; Zintegrujesz prognozy modeli uczenia maszynowego ze swoimi potokami wsadowymi; Będziesz monitorować, debugować i optymalizować wydajność potoków; Zastosujesz nowoczesne najlepsze praktyki inżynierii danych, w tym podstawowe testowanie potoków. Kurs rozpoczyna się od niezbędnej terminologii i zasad projektowania potoków, przechodząc systematycznie od podstawowego pozyskiwania danych do złożonych, wieloetapowych transformacji i wykonywania modeli wsadowych. Zaprojektowany specjalnie dla początkujących, kurs ten nie wymaga wcześniejszego doświadczenia z potokami danych ani infrastrukturą chmurową. Zacznij czytać już dziś, aby budować skalowalne potoki przetwarzania danych.