Fondamenti di elaborazione dati serverless con Dataflow

L'ingegneria dei dati moderna richiede l'elaborazione di enormi set di dati senza il sovraccarico della gestione di complesse infrastrutture server. L'elaborazione dati serverless risolve questa sfida disaccoppiando il calcolo dall'archiviazione, consentendoti di concentrarti esclusivamente sulla logica della pipeline. Questo corso ti introduce ai principi fondamentali dell'ingegneria dei dati serverless utilizzando Apache Beam e Dataflow. Passerete dalla comprensione della terminologia di base dell'elaborazione dei dati alla scrittura, al test e all'esecuzione delle vostre pipeline serverless. Cosa imparerai: - Comprendere i concetti fondamentali dell'elaborazione dati serverless e come Dataflow esegue le pipeline. - Scrivere pipeline Apache Beam utilizzando pratiche di programmazione moderne, inclusi type hints e schemi strutturati. - Applicare la logica di trasformazione per manipolare, filtrare e aggregare dati sia batch che in streaming. - Sfruttare il framework Beam Portability per capire come le pipeline vengono eseguite su diversi backend di esecuzione. - Esercitarsi a scrivere unit test per le tue pipeline di dati per garantirne l'affidabilità prima della distribuzione. Inizierai con le definizioni fondamentali e l'architettura delle pipeline serverless prima di passare a spiegazioni scritte passo-passo sulla scrittura del codice della pipeline, sull'esecuzione locale e sulla distribuzione in un ambiente cloud completamente gestito. Questo corso è progettato per aspiranti ingegneri dei dati, sviluppatori di software e amministratori di database che sono nuovi all'elaborazione dati serverless e desiderano una base concettuale chiara. Non è richiesta alcuna esperienza precedente con Apache Beam o Dataflow. Inizia a leggere oggi per costruire le tue basi nell'ingegneria dei dati serverless moderna.