Inżynieria danych z PySpark i Dataproc na platformie Cloud

Ponieważ organizacje generują ogromne ilości danych, umiejętność efektywnego przetwarzania i analizowania tych informacji jest bardzo poszukiwaną umiejątkością.Ten pisemny kurs przeprowadzi Cię przez podstawy rozproszonego przetwórstwa przy użyciu PySpark i zarządzanej infrastruktury chmurowej. Przejdziesz od zrozumienia podstawowych pojęć big data do projektowania, optymalizacji i wdrażania solidnych potoków danych.Dzięki jasnym pisemnym wyjaśnieniom, praktycznym fragmentom kodu i rzeczywistym scenariuszom opanujesz sposób uruchamiania skalowalnych zadań wsadowych i strumieniowych w czasie rzeczywistymi na platformie Cloud Platform. Czego się nauczysz: - Zrozum podstawowe koncepcje obliczeń rozproszonych, architekturę Spark i podstawowe interfejsy API PySpark DataFrame. - Skonfiguruj i zarządzaj klastrami Spark za pomocą Dataproc na platformie Cloud Platform. - Twórz skalowalne potoki przetwarzania wsadowego za pomocą SparkSQL i nowoczesnych transformacji DataFrame. - Wdrażaj przetwarzanie danych w czasie rzeczywistym za pomocą Spark Structured Streaming i integracji wiadomości w chmurze. - Zastosuj nowoczesne praktyki inżynierii danych, w tym podpowiedzi typu PySpark i techniki optymalizacji wydajności. - Zaprojektuj potokowy system rekomendacji uczenia maszynowego za pomocą Spark MLlib. Ten kurs zaczyna się od podstawowej terminologii big data i architektury Spark, zanim przejdziesz do praktycznych operacji DataFrame.Następnie przejdziemy do wdrażania rzeczywistych potoków na Dataproc, kończąc na wzorcach strumieniowych i profesjonalnych strategiach wywiadów z inżynierią danych. Ten kurs jest przeznaczony dla początkujących inżynierów danych, analityków i programistów, którzy chcą nauczyć się przetwarzania dużych danych od podstaw.Nie jest wymagane wcześniejsze doświadczenie z platformą Spark lub chmurą, chociaż pomocne jest podstawowe zrozumienie Pythona. Zacznij czytać już dziś, aby zbudować podstawy nowoczesnej inżynierii danych w chmurze.