Analiza danych za pomocą Spark i Python

W miarę wzrostu ilości danych tradycyjne narzędzia analityczne często nie nadążają za wymaganiami przetwarzania nowoczesnych danych naukowych.Przejście na przetwarzane rozproszone jest niezbędne dla każdego profesjonalisty, który chce obsługiwać informacje na dużą skalę. Ten kurs zapewnia jasną ścieżkę od podstawowej manipulacji danymi do budowania solidnych, rozproszonych potoków za pomocą Spark i Python. Przejdziesz z lokalnych skryptów danych do skalowalnych aplikacji, które mogą obsługiwać miliardy wierszy.Pod koniec tego kursu będziesz w stanie przekształcać, analizować i modelować dane na dużą skalę za pomocą standardowych narzędzi i technik. Czego się nauczysz: - Zapoznaj się z podstawową architekturą Sparka i podstawami przetwarzania rozproszonego - Przetwarzaj duże zbiory danych za pomocą DataFrames i Spark SQL w celu wydajnej analizy - Wdrażaj algorytmy uczenia maszynowego i systemy rekomendacji za pomocą MLlib - Ćwicz złożone transformacje danych za pomocą RDD, map, filtrów i redukcji operacji - Zastosuj nowoczesne wzorce danych, w tym uporządkowane przesyłanie strumieniowe do przetwarzania w czasie rzeczywistym - Analizuj połączone dane za pomocą przetwarzania wykresów i GraphFrames - Skonfiguruj środowiska Spark i zoptymalizuj wydajność dla gotowego do produkcji kodu Kurs rozpoczyna się od podstawowej terminologii i podstawowych pojęć, zanim przejdziesz do praktycznej manipulacji danymi.Będziesz postępować poprzez pisemne wyjaśnienia i przykłady kodu, które obejmują wszystko, od podstawowego czyszczenia danych po zaawansowane przepływy pracy uczenia maszynowego i przetwarzanie strumieni. Ten kurs jest przeznaczony dla początkujących w przestrzeni dużych danych i użytkowników Pythona, którzy chcą skalować swoje możliwości analityczne.Nie jest wymagane wcześniejsze doświadczenie ze Sparkiem lub systemami rozproszonymi. Zacznij czytać już dziś, aby opanować narzędzia, które napędzają nowoczesną naukę o danych.