Arquitetura e Design Detalhado do Sistema MapReduce

Lidar com conjuntos de dados massivos requer um profundo entendimento de sistemas distribuídos. Este curso somente de texto desmistifica os padrões arquitetônicos centrais por trás do processamento de dados distribuídos, com foco no design detalhado dos sistemas MapReduce. Você passará de conhecer conceitos básicos de dados para entender exatamente como os cálculos em grande escala são coordenados, agendados e executados em clusters de máquinas. O que você vai aprender: - Entenda os conceitos fundamentais de armazenamento distribuído e computação paralela - Analise a mecânica de mapear, embaralhar, classificar e reduzir fases em um pipeline de processamento - Configurar mecanismos de tolerância a falhas, repetições de tarefas e estratégias de execução especulativas - Pratique projetar fluxos de dados que otimizem a largura de banda da rede e minimizem os gargalos de E / S do disco - Saiba como os gerenciadores de recursos modernos coordenam cargas de trabalho de cluster distribuídas - Explore extensões modernas do paradigma, incluindo conceitos básicos de processamento paralelo baseado em vetores Este curso começa com a terminologia essencial, definindo como os clusters distribuídos se comunicam e gerenciam o estado, antes de mergulhar no fluxo de execução passo a passo de um trabalho MapReduce. Você lerá detalhes arquitetônicos detalhados, analisará as trocas de design do sistema e estudará representações baseadas em código de algoritmos distribuídos. Este curso é projetado para desenvolvedores de software, engenheiros de dados e arquitetos de sistemas que são novos em sistemas distribuídos e querem construir uma forte compreensão fundamental de arquiteturas de processamento de dados em grande escala. Nenhuma experiência prévia com computação em cluster é necessária. Comece a ler hoje para dominar os princípios de design subjacentes dos sistemas de dados distribuídos.