Przetwarzanie dużych danych z Hadoop i MapReduce

Przetwarzanie ogromnych ilości informacji wymaga specjalistycznych ram zbudowanych dla rozproszonej skali i odporności na błędy.Ten kurs tekstowy wprowadza kluczowe pojęcia Big Data i zapewnia jasne zrozumienie podstawowych obliczeń rozproszonych przy użyciu Hadoop. Zaczniesz od nauki podstawowej terminologii, koncepcji architektury klastra i sposobu, w jaki rozproszona pamięć masowa obsługuje dane w wielu węzłach.Ukończenie tego kursu pozwoli zrozumieć, jak efektywnie organizować, przechowywać i przekształcać duże zbiory danych przy użyciu ustalonych paradygmatów rozproszonych. Co się nauczysz: Zrozumienie podstawowej terminologii Big Data, koncepcji systemów rozproszonych i architektury klastra. Opanuj mechanikę pamięci masowej HDFS, dystrybucję bloków i strategie replikacji danych.Zastosuj model programowania MapReduce do dzielenia, przetwarzania i agregowania dużych zestawów danych. Porównaj tradycyjne podejścia do przechowywania danych z nowoczesnymi formatami kolumnowymi, takimi jak Parquet. Poznaj alokację zasobów klastra i harmonogramowanie zadań za pomocą YARN. Kurs zaczyna się od podstawowych pojęć i definicji, a następnie przechodzi przez jasne wyjaśnienia tekstowe, przewodniki architektoniczne i fragmenty kodu. Zaprojektowany dla początkujących, programistów i analityków danych, nie jest wymagane wcześniejsze doświadczenie z systemami rozproszonymi.