Budowanie systemów analityki strumieniowej w chmurze

Współczesne firmy polegają na decyzjach w ułamku sekundy, dzięki czemu przetwarzanie danych w czasie rzeczywistym jest kluczową umiejętnością dla nowoczesnych specjalistów od danych. Obsługa ciągłych, nieograniczonych strumieni danych wymaga przejścia z tradycyjnego przetwarzania wsadowego na dynamiczne architektury oparte na zdarzeniach. Ten kurs tekstowy przeprowadzi Cię przez podstawowe koncepcje i praktyczne architektury potrzebne do budowy solidnych systemów analityki strumieniowej w chmurze. Dowiesz się, jak niezawodnie i wydajnie pobierać, przetwarzać i analizować strumienie danych w czasie rzeczywistym. Czego się nauczysz: - Zrozum podstawowe różnice między architekturami przetwarzania danych wsadowych i strumieniowych. - Skonfiguruj potoki pobierania za pomocą Pub / Sub, aby obsługiwać strumienie wiadomości o wysokiej przepustowości w czasie rzeczywistym. - Zaprojektuj potoki danych strumieniowych za pomocą Dataflow, aby przetwarzać nieograniczone zestawy danych za pomoca niestandardowych strategii okien. - Zastosuj zasady zarządzania schematami i walidacji danych, aby zapewnić jakość i spójność strumienia. - Analizuj dane strumieniowe w czasie rzeczywistym, kierując przetworzone dane wyjściowe do BigQuery w celu natychmiastowego zapytania. - Wdrażaj strategie monitorowania, obsługi błędów i optymalizacji kosztów dla infrastruktury przesyłania strumieniowego w chmurze. Kurs zaczyna się od podstawowej terminologii strumieniowej i ram koncepcyjnych, zanim przejdziesz krok po kroku przez projekty rurociągów. Dzięki pisemnym wyjaśnieniom i rozbiciom architektonicznym dowiesz się, jak płynnie łączyć warstwy spożycia, przetwarzania i przechowywania. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i entuzjastów chmury, którzy nie znają danych w czasie rzeczywistym, bez wcześniejszego doświadczenia w przesyłaniu strumieniowym. Zacznij budować niezawodne potoki danych w czasie rzeczywistym już dziś.