Podstawy przetwarzania dużych danych za pomocą Spark i Hadoop

W dobie wykładniczego wzrostu danych tradycyjne narzędzia przetwarzania są często niewystarczające do wyodrębnienia znaczących spostrzeżeń.Ten kurs stanowi kompleksowe wprowadzenie do technologii i strategii wykorzystywanych do zarządzania i analizy zbiorów danych, które są zbyt duże lub złożone dla standardowych baz danych. Będziesz przechodzić od nauki podstawowych definicji do zrozumienia, w jaki sposób systemy rozproszone przetwarzają informacje w klastrach komputerów. Zyskasz jasne zrozumienie nowoczesnego krajobrazu danych, wychodząc poza koncepcje teoretyczne, aby zobaczyć, jak standardowe narzędzia branżowe rozwiązują problemy w skali świata.Pod koniec kursu będziesz w stanie poruszać się po wyborach architektonicznych wymaganych dla środowisk danych o dużej objętości. Czego się nauczysz: - Zrozum podstawowe cechy dużych danych i ich rolę w nowoczesnej analityce - Poznaj komponenty ekosystemu Hadoop, w tym HDFS i zarządzanie zasobami - Ćwicz przetwarzanie danych i transformacje za pomocą silnika Spark - Zastosuj analizę opartą na SQL do ogromnych zbiorów danych w celu wydajnego zapytania - Zrozum nowoczesne formaty przechowywania danych, takie jak Parquet, w celu uzyskania wysokiej wydajności - Poznaj różnice między tradycyjnymi hurtowniami danych a nowoczesnymi jeziorami danych w chmurze Kurs rozpoczyna się od podstawowej terminologii i podstawowych pojęć, zanim zapoznasz się z architekturą Spark i Hadoop poprzez szczegółowe pisemne wyjaśnienia i techniczne przewodniki.Ten program jest przeznaczony dla początkujących i nie wymaga wcześniejszego doświadczenia z narzędziami big data lub rozproszonymi obliczeniami. Rozpocznij swoją podróż w świat inżynierii danych na dużą skalę już dziś.