Podstawy Hadoop i rozproszonego przetwarzania danych

W miarę jak ilość globalnych danych rośnie wykładniczo, tradycyjne systemy baz danych mają trudności z przechowywaniem i analizowaniem ogromnych zbiorów danych.Zrozumienie, w jaki sposób systemy rozproszone zarządzają dużymi danymi, jest niezbędną umiejętnością dla współczesnych programistów, analityków danych i architektów systemów. Ten kurs tekstowy przeprowadzi Cię przez podstawowe koncepcje obliczeń rozproszonych, pokazując, w jaki sposób Hadoop rozwiązuje problemy związane z dużymi danymi.Będziesz przechodzić od zrozumienia podstawowych ograniczeń pamięci do konceptualizacji przepływów pracy przetwarzania danych, które działają wydajnie w wielu węzłach komputerowych. Czego się nauczysz: - Zapoznaj się z podstawową architekturą Hadoop, w tym z Hadoup Distributed File System (HDFS) i MapReduce. - Wyjaśnij, w jaki sposób rozproszona pamięć obsługuje replikację danych, odporność na awarie i wysoką dostępność. - Analizuj model programowania MapReduce, śledząc dane za pomocą map, shuffle i redukując fazy. - Porównaj tradycyjne konfiguracje Hadoop z nowoczesnymi architekturami przechowywania obiektów w chmurze i hybrydowymi architekturaми danych. - Ćwicz projektowanie koncepcyjnych przepływów danych, aby rozwiązać typowe problemy z przetwarzaniem dużych danych, takie jak agregacja dzienników. Zaczniesz od podstawowych definicji dużych danych i systemów rozproszonych, a następnie poznasz architekturę HDFS i przepływ wykonywania MapReduce.Na koniec dowiesz się, jak nowoczesne ekosystemy chmurowe integrują się z tymi podstawowymi wzorcami dużych zbiorów danych. Ten kurs jest przeznaczony dla absolutnych początkujących do dużych danych, bez wcześniejszego doświadczenia w systemach rozproszonych lub wymaganego programowania równoległego. Zacznij czytać już dziś, aby zbudować silne podstawy w przetwarzaniu danych na dużą skalę.