Podstawy inżynierii Big Data z Hadoop i Spark

W miarę wzrostu ilości danych na świecie organizacje polegają na solidnych potokach danych, aby przetwarzać i analizować informacje na dużą skalę. Zrozumienie, jak zarządzać tym ogromnym napływem danych, jest jedną z najcenniejszych umiejętności w nowoczesnej technologii.\n\nTen kurs tekstowy prowadzi od absolutnych podstaw architektury dużych danych do budowania pierwszych skalowalnych potoków przetwarzania. Zyskasz jasne, koncepcyjne zrozumienie rozproszonych obliczeń i nauczysz się pisać kod do przetwarzania, zapytania i strumieniowania zestawów danych za pomocą standardowych narzędzi branżowych.\n\nCzego się nauczycie:\n- Zrozumienie podstawowych koncepcji big data, rozproszonej pamięci masowej i podstawowej architektury Hadoop\n- Pisanie programów Scala i Spark do czyszczenia, - Zaprojektuj, przekształć i przeanalizuj duże zbiory danych\n- Skonfiguruj potoki Kafka, aby pobierać i strumieniować kanały danych w czasie rzeczywistym\n - Poznaj nowoczesne architektury data lakehouse i uporządkowane koncepcje strumienia dla aktualnej inżynierii danych\r- Wydajnie zapytaj rozproszone dane za pomocą Spark SQL i zarządzaj zasobami klastra\n Ćwiczenia i przewodniki po kodzie zaprojektowane do wykonywania lokalnego\n\nZaczniesz od podstawowych definicji i historii systemów rozproszonych, zanim przejdziesz krok po kroku przez Hadoop, Spark, Scala i Kafka. Każdy moduł łączy jasne pisemne wyjaśnienia z praktycznymi fragmentami kodu, które można czytać, analizować i dostosowywać.\n\nTen kurs jest przeznaczony dla początkujących inżynierów danych, analityków i programistów, którzy są nowi w Big Data. Nie jest wymagane wcześniejsze doświadczenie z systemami rozproszonymi, chociaż pomocna jest podstawowa znajomość koncepcji programowania.\n\nZacznij czytać już dziś, aby zbudować podstawową wiedzę na temat inżynierii dużych danych.