Podstawy inżynierii danych w chmurze z BigQuery i Dataflow

Ponieważ organizacje generują codziennie ogromne ilości danych, zapotrzebowanie na uporządkowane, niezawodne potoki danych nigdy nie było większe. Zrozumienie, jak skutecznie pobierać, przekształcać i przechowywać te dane w nowoczesnej infrastrukturze chmury, jest podstawową umiejętnością dla każdego aspirującego specjalisty ds. Danych. Ten kurs tekstowy prowadzi od absolutnego początkującego do pewnego zrozumienia architektury danych w chmurze. Dowiesz się, jak projektować potoki danych, zarządzać skalowalną pamięcią masową i przetwarzać strumienie danych za pomocą standardowych narzędzi chmurowych. Czego się nauczysz: - Zrozum podstawowe role inżynierii danych, obowiązki i podstawowe architektury rurociągów. - Poznaj opcje przechowywania w chmurze i wybierz odpowiednią bazę danych lub rozwiązanie data lake dla swoich potrzeb analitycznych. - Zapytaj i analizuj duże zbiory danych za pomocą BigQuery i nowoczesnych technik optymalizacji SQL. - Twórz potoki wsadowe i strumieniowe za pomocą wzorców przesyłania wiadomości Dataflow i pub-sub. - Zastosuj nowoczesne koncepcje lakehouse danych i podstawową orkiestrację rurociągu, aby zapewnić jakość danych. Zaczniesz od podstawowej terminologii inżynierii danych i koncepcji architektury, zanim przeczytasz krok po kroku przepływy pracy projektowania rurociągów. Materiał obejmuje pobieranie, transformację i przechowywanie danych, wraz z ćwiczeniami koncepcyjnymi, aby sprawdzić zrozumienie. Ten kurs jest przeznaczony dla absolutnie początkujących, aspirujących inżynierów danych i analityków, którzy chcą przejść na technologie chmurowe. Aby rozpocząć pracę, nie jest wymagane wcześniejsze doświadczenie w chmurze ani programowanie. Zacznij budować podstawy inżynierii danych w chmurze już dziś.