Tworzenie potoków danych wsadowych za pomocą BigQuery i Dataproc

Współczesne organizacje polegają na stałych, niezawodnych przepływach danych, aby podejmować kluczowe decyzje biznesowe.Zrozumienie, jak skutecznie wyodrębniać, przekształcać i ładować dane wsadowe, jest podstawową umiejętnością dla każdego aspirującego specjalisty ds. Danych. Ten kurs tekstowy przeprowadzi Cię przez podstawowe paradygmaty przetwarzania danych, pomagając wybrać i wdrożyć odpowiednią architekturę potoku dla Twoich projektów.Będziesz przechodzić od zrozumienia podstawowych koncepcji danych do projektowania gotowych do produkcji potoków wsadowych przy użyciu standardowych technologii chmurowych. Czego się nauczysz: * Zrozumieć podstawowe różnice między paradygmatami ETL, ELT i EL, aby wybrać najlepsze podejście do danych. * Budowanie skalowalnych hurtowni danych i uruchamianie zapytań analitycznych za pomocą BigQuery. * Przetwarzaj duże zbiory danych, uruchamiając zadania Spark na zarządzanych klastrach Dataproc i środowiskach bezserwerowych. * Projektuj wizualne, bezkodowe przepływy pracy w potoku za pomocą Cloud Data Fusion. * Zastosuj nowoczesne praktyki zarządzania danymi i zarządzaniem schematami, aby zapewnić niezawodność rurociągu. Zaczniesz od podstawowych koncepcji i terminologii inżynierii danych, zanim przejdziesz do projektowania rurociągów.Dzięki uporządkowanym pisemnym wyjaśnieniom i praktycznym scenariuszom kodu SQL i Spark, odkryjesz, jak orkiestrować różne narzędzia danych, aby budować spójne systemy przetwarzania wsadowego. Ten kurs jest przeznaczony dla początkujących, aspirujących inżynierów danych i administratorów baz danych, którzy chcą przejść do przepływów pracy w chmurze. Zacznij budować niezawodne, zautomatyzowane potoki danych już dziś.