Elaborazione Dati Serverless con Dataflow e Beam

L'ingegneria dei dati moderna richiede la capacità di elaborare enormi set di dati in modo efficiente senza gestire infrastrutture complesse. Questo corso basato su testo ti guida attraverso i concetti fondamentali dell'elaborazione dati serverless utilizzando Dataflow e l'Apache Beam SDK. Inizierai con la terminologia di base, comprendendo come sono strutturate le pipeline, prima di passare allo sviluppo pratico delle pipeline. Alla fine di questo corso, sarai in grado di progettare, scrivere ed eseguire le tue pipeline di dati serverless sia per dati batch che in streaming. Cosa imparerai: * Comprendere i concetti fondamentali di Beam inclusi PCollections, trasformazioni, esecutori di pipeline (pipeline runners) e il modello di esecuzione; * Scrivere pipeline di elaborazione dati personalizzate utilizzando il Beam SDK per pulire, trasformare e aggregare i dati; * Configurare le pipeline per gestire sia file batch storici che sorgenti di dati in streaming in tempo reale; * Implementare modelli di pipeline moderni inclusi windowing, trigger e input laterali (side inputs); * Distribuire pipeline su Dataflow per sfruttare l'auto-scaling e l'esecuzione serverless. Il corso inizia con i fondamenti teorici essenziali, spiegando come funziona l'elaborazione distribuita, e poi ti guida passo dopo passo attraverso la scrittura del codice della pipeline, la gestione degli errori e l'ottimizzazione delle prestazioni. Questo corso è progettato per principianti nell'ingegneria dei dati, sviluppatori di software e analisti di dati che desiderano apprendere l'elaborazione dati serverless. Una conoscenza di base della programmazione in Python o Java è utile, ma non è richiesta alcuna precedente esperienza di ingegneria dei dati cloud. Inizia a leggere per padroneggiare oggi stesso le pipeline di dati serverless.