Tworzenie potoków danych strumieniowych na GCP

Nowoczesne firmy polegają na wglądzie w ułamku sekundy, dzięki czemu możliwość przetwarzania ciągłych strumieni danych jest kluczową umiejętnością dla specjalistów od danych.Ten kurs tekstowy prowadzi przez podstawowe koncepcje i praktyczne architektury potrzebne do skutecznego obsługi nieograniczonych strumienia danych. Przejdziesz od myślenia o przetwarzaniu wsadowym do architektur strumieniowych, ucząc się, jak pobierać, przekształcać i przechowywać dane w czasie rzeczywistym.Zrozumienie okien, wyzwalaczy i późno przybywających danych pozwoli Ci zdobyć umiejętności budowania elastycznych potoków, które zasilają pulpity nawigacyjne na żywo i natychmiastowe analizy. Czego się nauczysz: - Zrozum podstawowe koncepcje przesyłania strumieniowego, w tym ograniczone i nieograniczone zbiory danych oraz czas zdarzenia w porównaniu z czasem przetwarzania. - Skonfiguruj tematy i subskrypcje Pub / Sub, aby niezawodnie pobierać szybkie kanały danych. - Twórz potoki strumieniowe za pomocą Dataflow, aby filtrować, agregować i wzbogacać dane w locie. - Zastosuj strategie okienkowe i obsłuż późną akumulację danych w celu dokładnej analizy opartej na czasie. - Przesyłaj przetworzone dane bezpośrednio do BigQuery w celu zapytania w czasie rzeczywistym i analizy operacyjnej. - Wdrażaj strategie obserwacji, monitorowania i obsługi błędów w celu utrzymania zdrowia systemu. Kurs zaczyna się od podstawowej terminologii strumieniowej i wzorców architektonicznych, zanim przejdzie do krok po kroku pisemnych przewodników dotyczących budowania i łączenia warstw spożycia, przetwarzania i przechowywania.Zakończysz, badając techniki monitorowania, aby Twoje rurociągi w czasie rzeczywistym działały płynnie. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i analityków, którzy chcą przejść do przetwarzania danych w czasie rzeczywistym.Nie jest wymagane wcześniejsze doświadczenie w zakresie analizy strumieniowej lub potoków danych w chmurze. Zacznij czytać już dziś, aby opanować podstawy przesyłania strumieniowego danych w czasie rzeczywistym.