Analiza dużych zbiorów danych za pomocą Hive, Pig i MapReduce

Przetwarzanie ogromnych zbiorów danych wymaga specjalistycznych narzędzi, które można skalować. Hive, Pig i MapReduce tworzą szkielet klasycznej architektury big data, umożliwiając uporządkowane zapytania i przetwarzanie danych w skali. Ten kurs tekstowy prowadzi od początkujących w zakresie dużych danych do pewnego strukturyzowania baz danych, pisania skryptów transformacji danych i zrozumienia modelu wykonywania systemów rozproszonych. Nauczysz się optymalizować wydajność zapytań i obsługiwać nowoczesne formaty plików, takie jak Parquet i ORC. Czego się nauczysz: - Zapoznaj się z podstawową architekturą ekosystemu Hadoop, HDFS i przepływami wykonawczymi MapReduce. - Projektuj i zarządzaj bazami danych Hive, tabelami zewnętrznymi i partycjonowanymi zestawami danych w celu zoptymalizowania wydajności. - Napisz skrypty Pig Latin, aby przekształcić, filtrować i analizować dane nieustrukturyzowane i półstrukturalne. - Zapytaj złożone typy danych i zintegruj nowoczesne formaty przechowywania kolumn, takie jak Parquet i ORC. - Zastosuj najlepsze praktyki w zakresie serializacji danych, projektowania schematu i dostrajania wydajności w dużych potokach danych. Zaczniesz od podstawowych pojęć big data i definicji architektury, zanim przejdziesz do praktycznego pisania zapytań, tworzenia skryptów i projektowania baz danych. Ten kurs jest przeznaczony dla początkujących zainteresowanych inżynierią danych i analizą dużych danych, bez wcześniejszego doświadczenia Hadoop. Zacznij czytać już dziś, aby zbudować podstawy w przetwarzaniu dużych danych.