Budowanie i analiza danych za pomocą Apache Spark i Scala

Wraz ze wzrostem ilości danych, tradycyjne narzędzia do przetwarzania danych mają problemy z nadążaniem. Nauka efektywnego przetwarzania i analizy ogromnych zbiorów danych jest kluczową umiejętnością dla nowoczesnych specjalistów od danych. Ten kurs tekstowy przeprowadzi Cię przez podstawowe pojęcia Apache Spark i Scala, umożliwiając budowanie solidnych potoków danych i wykonywanie złożonych analiz danych. Przejdziesz od zrozumienia podstawowych zasad obliczeń rozproszonych do pisania czystego, zoptymalizowanego kodu Scala do przetwarzania danych na dużą skalę. Czego się nauczysz: - Zapoznaj się z podstawami przetwarzania rozproszonego i architekturą Apache Spark - Napisz kod Scala, aby manipulować danymi za pomocą wysokowydajnych interfejsów API DataFrame i Dataset - Wydajnie czyść, przekształcaj i agreguj ustrukturyzowane i półstrukturalne zbiory danych - Zapytaj o dane na dużą skalę za pomocą Spark SQL, aby wyodrębnić znaczące informacje biznesowe - Zastosuj nowoczesne praktyki inżynierii danych, w tym pracę ze zorganizowanymi koncepcjami strumieniowania i delty - Zoptymalizuj aplikacje Spark, rozumiejąc strategie leniwego oceniania, buforowania i partycjonowania Zaczniesz od kluczowej terminologii, podstawowych pojęć systemów rozproszonych i podstaw składni Scala. Stamtąd będziesz przechodzić przez czytanie, filtrowanie i przekształcanie zestawów danych, kończąc na praktycznych scenariuszach analizy danych. Ten kurs jest przeznaczony dla początkujących do dużych danych, aspirujących inżynierów danych i analityków, którzy chcą nauczyć się Spark i Scala bez wcześniejszego doświadczenia w przetwarzaniu rozproszonym. Zacznij czytać już dziś, aby zbudować podstawy w przetwarzaniu danych na dużą skalę.