Scala i Spark do analizy Big Data

Ponieważ zbiory danych stają się zbyt duże dla pojedynczej maszyny, nowocześni programiści i inżynierowie danych muszą przejść z tradycyjnego przetwarzania lokalnego do przetwarzania rozproszonego.Ten kurs tekstowy prowadzi przez podstawowe pojęcia przetwarzania dużych danych, pokazując, jak wykorzystać szybkość Apache Spark przy użyciu eleganckich, funkcjonalnych paradygmatów Scala. Przejdziesz od pisania podstawowego kodu lokalnego do projektowania solidnych rozproszonych potoków danych, które można skalować w klastrach.Czytając jasne wyjaśnienia koncepcyjne i analizując praktyczne przykłady kodu, zbudujesz silne podstawy w systemach rozproszonych. Czego się nauczysz: - Zrozum podstawowe zasady obliczeń rozproszonych, wykonywania klastrów i modelu pamięci Sparka. - Zastosuj koncepcje programowania funkcjonalnego w Scala, aby bezpiecznie i wydajnie manipulować rozproszonymi zbiorami danych. - Strukturalne interfejsy API Master Spark, w tym DataFrames i Datasets, do zoptymalizowanych transformacji danych. - Napisz ekspresyjne zapytania Spark SQL, aby przeanalizować duże dane strukturalne i półstrukturalne. - Skonfiguruj potoki danych, aby odczytywać i zapisywać do nowoczesnych formatów pamięci masowej, takich jak Parquet i Delta Lake. - Ćwicz identyfikację i rozwiązywanie typowych wąskich gardeł wydajności w rozproszonych zadaniach danych. Kurs zaczyna się od podstawowej terminologii big data, składni podstawowej Scala i podstawowych koncepcji rozproszonych, zanim przejdziemy do praktycznej manipulacji danymi, uporządkowanego projektu API i praktycznych przepływów pracy optymalizacyjnych. Ten kurs jest przeznaczony dla początkujących do dużych danych, w tym programistów, analityków danych i aspirujących inżynierów danych, którzy chcą nauczyć się przetwarzania rozproszonego od podstaw bez potrzeby wcześniejszego doświadczenia w klastrach. Zacznij czytać już dziś, aby odblokować moc rozproszonej analizy danych za pomocą Scala i Spark.