Architettura e Progettazione Dettagliata del Sistema MapReduce

La gestione di enormi set di dati richiede una profonda comprensione dei sistemi distribuiti. Questo corso basato solo su testo demistifica i modelli architetturali fondamentali alla base dell'elaborazione dati distribuita, concentrandosi sulla progettazione dettagliata dei sistemi MapReduce. Passerete dal conoscere i concetti di base dei dati al capire esattamente come i calcoli su larga scala vengono coordinati, pianificati ed eseguiti attraverso cluster di macchine. Cosa imparerai: - Comprendere i concetti fondamentali dell'archiviazione distribuita e del calcolo parallelo - Analizzare la meccanica delle fasi map, shuffle, sort e reduce in una pipeline di elaborazione - Configurare meccanismi di tolleranza ai guasti, tentativi di attività (task retries) e strategie di esecuzione speculativa - Esercitarsi nella progettazione di flussi di dati che ottimizzano la larghezza di banda di rete e minimizzano i colli di bottiglia I/O del disco - Imparare come i moderni gestori di risorse coordinano i carichi di lavoro dei cluster distribuiti - Esplorare le estensioni moderne del paradigma, inclusi i concetti di base dell'elaborazione parallela basata su vettori Questo corso inizia con la terminologia essenziale, definendo come i cluster distribuiti comunicano e gestiscono lo stato, prima di addentrarsi nel flusso di esecuzione passo dopo passo di un job MapReduce. Leggerai analisi architetturali dettagliate, analizzerai i compromessi di progettazione del sistema e studierai rappresentazioni basate su codice di algoritmi distribuiti. Questo corso è progettato per sviluppatori di software, ingegneri dei dati e architetti di sistemi che sono nuovi ai sistemi distribuiti e desiderano costruire una solida comprensione fondamentale delle architetture di elaborazione dati su larga scala. Non è richiesta alcuna esperienza pregressa con il calcolo su cluster. Inizia a leggere oggi per padroneggiare i principi di progettazione sottostanti dei sistemi di dati distribuiti.