Operazioni di flusso dati per l'elaborazione dei dati serverless

Costruire una pipeline di dati è solo il primo passo. Mantenerla in funzione in modo efficiente, sicuro e nel rispetto del budget è il vero ingegneria dei dati. Questo corso basato su testo ti guida attraverso il lato operativo dell'elaborazione dei dati serverless utilizzando Dataflow, aiutandoti a passare dalla scrittura del codice della pipeline alla gestione degli ambienti di produzione. Imparerai come monitorare lo stato della pipeline, eseguire il debug dei colli di bottiglia delle prestazioni e scalare le risorse in modo dinamico per gestire i volumi di dati fluttuanti. Completando questo corso, sarete in grado di operare, risolvere i problemi e ottimizzare le pipeline di Dataflow in batch e in streaming in produzione.Coprirete come gestire le risorse di sistema, proteggere gli ambienti di elaborazione dei dati e mantenere un'elevata disponibilità senza intervento manuale. Cosa imparerai: - Comprendere l'architettura di base del modello di esecuzione di Dataflow e la gestione del pool di lavoratori. - Monitorare le metriche di salute e prestazioni della pipeline utilizzando le interfacce di monitoraggio e registrazione del cloud. - Risolvere i comuni errori di esecuzione, i ritardi della pipeline e i colli di bottiglia della serializzazione dei dati. - Ottimizzare l'utilizzo delle risorse e i costi utilizzando le configurazioni Autoscale e i tipi di lavoratori personalizzati. - Implementare le best practice di sicurezza, inclusi gli account di servizio personalizzati e le configurazioni VPC private. - Gestisci gli aggiornamenti della pipeline, scarica i lavori di streaming in modo sicuro e gestisci gli aggiornare di elaborazione stateful. Questo corso inizia con i concetti fondamentali, stabilendo una chiara comprensione del ciclo di vita operativo e del grafico di esecuzione di Dataflow, quindi procederà attraverso guide scritte passo-passo e scenari operativi che coprono monitoraggio, risoluzione dei problemi, sicurezza e ottimizzazione delle prestazioni. Questo corso è progettato per ingegneri di dati principianti e intermedi, amministratori cloud e sviluppatori che desiderano gestire pipeline di dati di livello di produzione.Non è richiesta alcuna esperienza operativa precedente con Dataflow, sebbene sia utile una comprensione di base dei concetti di cloud e delle pipeline dei dati. Inizia a padroneggiare le operazioni di elaborazione dati serverless oggi stesso.