Análise de Big Data com Hive, Pig e MapReduce

O processamento de conjuntos de dados massivos requer ferramentas especializadas que possam ser dimensionadas. O Hive, o Pig e o MapReduce formam a estrutura básica da arquitetura clássica de big data, permitindo consultas estruturadas e processamento de dados em escala. Este curso baseado em texto orienta você desde o iniciante de big data até a estruturação confiável de bancos de dados, a escrita de scripts de transformação de dados e a compreensão do modelo de execução de sistemas distribuídos. Você aprenderá a otimizar o desempenho de consultas e lidar com formatos de arquivo modernos, como Parquet e ORC. O que você vai aprender: - Entenda a arquitetura central do ecossistema Hadoop, HDFS e fluxos de execução MapReduce. - Projete e gerencie bancos de dados Hive, tabelas externas e conjuntos de datos particionados para um desempenho otimizado. - Escreva scripts Pig Latin para transformar, filtrar e analisar dados não estruturados e semiestruturados. - Consulte tipos de dados complexos e integre formatos de armazenamento colunar modernos como Parquet e ORC. - Aplique as melhores práticas para serialização de dados, design de esquema e ajuste de desempenho em pipelines de big data. Você começará com conceitos essenciais de big data e definições de arquitetura antes de passar para a escrita de consultas práticas, desenvolvimento de scripts e design de banco de dados. Este curso é projetado para iniciantes interessados em engenharia de dados e análise de big data, sem experiência prévia em Hadoop. Comece a ler hoje para construir sua base no processamento de big data.