Elaborazione dei dati serverless con Dataflow Foundations

Le aziende moderne generano enormi quantità di dati ogni secondo, ma per estrarre valore da questi dati sono necessarie pipeline robuste e scalabili in grado di elaborare le informazioni senza sovraccarichi amministrativi. Questo corso di solo testo introduce i principi fondamentali dell'ingegneria dei dati serverless utilizzando Dataflow, consentendo di concentrarsi sulla scrittura della logica della pipeline invece di gestire i server.Coprirai come creare pipeline di dati efficienti che si adattano automaticamente alle esigenze aziendali. Cosa imparerai: Comprendere i concetti fondamentali dell'architettura serverless e delle pipeline di dati gestiti; Imparare le basi del modello di programmazione Apache Beam per scrivere pipeline per l'elaborazione di dati portatili; Creare pipeline batch per elaborare dati storici archiviati nello storage cloud; Progettare pipeline in streaming per gestire l'ingestione e la distribuzione di Esercitarsi nella gestione dei dati in arrivo in ritardo utilizzando i concetti di finestra, attivazione e accumulo; Configurare il monitoraggio, la registrazione e la regolazione delle prestazioni della pipeline per gli ambienti di produzione. Il corso inizia con la terminologia essenziale dell'ingegneria dei dati e i concetti fondamentali prima di guidarti attraverso la progettazione passo-passo di pipeline batch e streaming.Questo corso è progettato per ingegneri di dati principianti, sviluppatori di software e amministratori di database che desiderano passare all'elaborazione dei dati basata sul cloud. Non è richiesta alcuna esperienza precedente nell'ingegneria dei dati nel cloud, anche se è utile una conoscenza di base della logica di programmazione e di SQL.