Podstawy Big Data z Hadoop i Spark

Wraz ze wzrostem ilości danych, tradycyjne narzędzia do przetwarzania często nie spełniają nowoczesnych potrzeb biznesowych.Zrozumienie, jak zarządzać i analizować dane na dużą skalę, jest niezbędną umiejętnością dla każdego, kto pracuje w technologii, nauce o danych lub analityce biznesowej. Ten kurs stanowi solidną podstawę technologii, które zasilają duże dane, przechodząc od podstawowych koncepcji do praktycznego zastosowania standardowych ram branżowych. Dzięki pisemnym wyjaśnieniom i przykładom opartym na kodzie przekształcisz swoje zrozumienie rozproszonych obliczeń i nauczysz się poruszać złożonym krajobrazem inżynierii danych.Zdobędziesz pewność siebie, aby omówić i zastosować mechanizmy, które pozwalają komputerom współpracować w celu rozwiązania ogromnych wyzwań związanych z danymi. Czego się nauczysz: - Zapoznaj się z podstawowymi komponentami architektury Hadoop, w tym HDFS i YARN - Zastosuj Spark do szybkiego przetwarzania danych i złożonych transformacji - Poznaj nowoczesne formaty przechowywania danych, takie jak Parquet i Avro, aby zwiększyć wydajność - Analizuj dane za pomocą paradygmatów Hive i MapReduce za pomoca ćwiczeń pisemnych - Rozróżnij przetwarzanie wsadowe i strumieniowe w nowoczesnych środowiskach danych - Zrozum, jak duże struktury danych integrują się z obecnymi wzorcami jezior danych w chmurze Kurs zaczyna się od podstawowej terminologii i historii systemów rozproszonych, zanim przejdziesz do konkretnych narzędzi używanych do przechowywania, zarządzania i przetwarzania informacji.Zbadasz cały stos oprogramowania, ucząc się, jak różne komponenty współdziałają, aby stworzyć spójne środowisko danych. Ten kurs jest przeznaczony dla początkujących i nie wymaga wcześniejszego doświadczenia z dużymi danymi lub obliczeniami rozproszonymi.Rozpocznij budowanie wiedzy w zakresie technologii, które definiują nowoczesny krajobraz danych.