Modellazione dei dati batch con Cloud Dataflow e Apache Beam

Questo corso basato su testo ti guida attraverso i concetti fondamentali per la creazione di pipeline di dati batch robuste utilizzando Cloud Dataflow e Apache Beam. Inizierai a capire come progettare flussi di lavoro portatili e scalabili che gestiscano facilmente le trasformazioni dei dati e le previsioni dei modelli. Cosa imparerai: Comprendere l'architettura di base di Cloud Dataflow e l'elaborazione dei dati serverless; Scrivere pipeline batch portatili utilizzando l'SDK Apache Beam; Implementare trasformazioni dei dati, raggruppamento e tecniche di aggregazione; Integrare le previsioni del modello di apprendimento automatico nelle pipeline di batch; Monitorare, eseguire il debug e ottimizzare la pipeline Il corso inizia con la terminologia essenziale e i principi di progettazione della pipeline, passando sistematicamente dall'ingestione di dati di base a complesse trasformazioni a più fasi e all'esecuzione del modello batch. Progettato specificamente per i principianti, questo corso non richiede alcuna esperienza precedente con le pipeline di dati o l'infrastruttura cloud.