Budowanie potoków danych w czasie rzeczywistym za pomocą usług Cloud Dataflow i Pub/Sub

Współczesne firmy generują dane w sposób ciągły, wymagające natychmiastowego przetwarzania w celu podejmowania terminowych decyzji. Ten kurs tekstowy przeprowadzi Cię przez podstawowe pojęcia architektury strumieniowania danych i analizy w czasie rzeczywistym w chmurze. Przejdziesz od zrozumienia przetwarzania wsadowego do projektowania solidnych potoków strumieniowych o niskim opóźnieniu, które pobierają, przekształcają i przechowują dane strumienia na skalę. Czego się nauczysz: - Zrozum podstawowe koncepcje przesyłania strumieniowego, w tym czas zdarzenia, czas przetwarzania i strategie okien - Skonfiguruj warstwy pobierania wiadomości za pomocą skalowalnych systemów pub / sub opartych na chmurze - Opracuj potoki przetwarzania strumieniowego, aby filtrować, agregować i wzbogacać dane w locie - Obsługuj złożone wyzwania związane z przesyłaniem strumieniowym, takie jak spóźnione dane i zdarzenia poza kolejnością - Zapisz dane strumieniowe do miejsc analitycznych w celu zapytania i raportowania w czasie rzeczywistym - Zoptymalizuj wydajność rurociągu i monitoruj wykorzystanie zasobów, aby kontrolować koszty chmury Kurs zaczyna się od podstawowej terminologii i podstaw strukturalnych, zanim przejdzie do krok po kroku pisemnych przewodników dotyczących konfiguracji rurociągu, transformacji danych i najlepszych praktyk operacyjnych. Zaprojektowany dla początkujących inżynierów danych i entuzjastów chmury, ten kurs nie wymaga wcześniejszego doświadczenia z systemami strumieniowymi. Zacznij czytać już dziś, aby opanować podstawy przesyłania strumieniowego danych w czasie rzeczywistym.