Modella pipeline in batch con Cloud Dataflow e Apache Beam

Con la crescita dei set di dati, l'esecuzione di modelli di machine learning su milioni di righe richiede un'infrastruttura robusta e distribuita. In questo corso di solo testo, imparerai come progettare, eseguire e monitorare pipeline di elaborazione batch per l'inferenza di apprendimento automatico.Inizierai con i concetti fondamentali dell'elaborazione distribuita dei dati, procederai alla scrittura della logica della pipeline e finirai con la distribuzione di flussi di lavoro pronti per la produzione che memorizzano le previsioni in modo efficiente. Cosa imparerai: - Comprendere l'architettura di base di Cloud Dataflow e Apache Beam per l'elaborazione batch - Scrivi trasformazioni di pipeline robuste per ingerire, preelaborare e formattare set di dati su larga scala - Integra i modelli di apprendimento automatico direttamente nelle fasi della pipeline per l'inferenza batch scalabile - Configura le destinazioni di BigQuery per archiviare, interrogare e gestire le previsioni del modello - Testare la logica della pipeline localmente utilizzando le moderne pratiche di test delle unità e pytest - Monitorare l'esecuzione della pipeline, ottimizzare l'allocazione delle risorse e eseguire il debug dei colli di bottiglia comuni Inizierai con le definizioni essenziali e le basi dell'architettura prima di passare alla costruzione pratica della pipeline.Il corso ti guida attraverso la lettura e la comprensione delle pipeline locali, la loro scalatura sul cloud e l'applicazione delle best practice di test e monitoraggio attraverso spiegazioni scritte ed esempi di codice. Questo corso è progettato per ingegneri di dati principianti, sviluppatori e aspiranti professionisti di apprendimento automatico che desiderano apprendere l'elaborazione di dati scalabili.Non è richiesta alcuna esperienza precedente con Cloud Dataflow o Apache Beam. Inizia a leggere oggi stesso per creare pipeline efficienti e scalabili per i tuoi flussi di lavoro di machine learning.