Podstawy inżynierii danych w chmurze z BigQuery i Dataflow

Ponieważ organizacje generują ogromne ilości danych codziennie, zapotrzebowanie na wykwalifikowanych specjalistów, którzy mogą zaprojektować solidne rurociągi, jest wyższe niż kiedykolwiek. Ten kurs wprowadza do podstawowych zasad inżynierii danych na nowoczesnych platformach chmurowych, koncentrując się na skalowalnym przechowywaniu i przetwarzaniu. Przejdziesz od zrozumienia podstawowych pojęć bazy danych do projektowania i wykonywania gotowych do produkcji przepływów danych. Dzięki jasnym pisemnym wyjaśnieniom i praktycznym scenariuszom dowiesz się, jak efektywnie pobierać, przekształcać i przechowywać dane za pomocą narzędzi takich jak BigQuery, Pub / Sub i Dataflow, jednocześnie wdrażając nowoczesne praktyki, takie jak zarządzanie schematami i orkiestracja potoków. Poznasz podstawowe pojęcia z zakresu inżynierii danych, w tym wzorce ETL/ELT i typy pamięci masowej; skonfigurujesz skalowalne hurtownie danych i uruchomisz zoptymalizowane zapytania za pomocą BigQuery; stworzysz potoki przesyłania strumieniowego i wsadowego za pomoca Pub/Sub i Dataflow; zastosujesz nowoczesne koncepcje architektury data lakehouse, aby organizować nieuporządkowane i złożone dane. Zaprojektuj czyste, uporządkowane schematy, które zapewniają jakość danych i zarządzanie nimi w potokach; Ćwicz pisanie transformacji SQL i logiki potoku za pomocą ćwiczeń pisemnych krok po kroku. Kurs zaczyna się od podstawowej terminologii i pojęć strukturalnych, a następnie przeprowadza przez praktyczne scenariusze rurociągów. Przejdziesz od podstawowej konfiguracji przechowywania danych do projektowania w pełni zautomatyzowanych, bezserwerowych przepływów danych. Ten kurs jest przeznaczony dla początkujących, aspirujących inżynierów danych i analityków, którzy chcą przejść do infrastruktury chmurowej. Nie jest wymagane wcześniejsze doświadczenie w chmurze, chociaż pomocna jest podstawowa znajomość SQL. Zacznij budować podstawy inżynierii danych w chmurze już dziś.