Creazione di pipeline di dati batch con BigQuery e Dataproc

Le organizzazioni moderne si affidano a flussi di dati costanti e affidabili per prendere decisioni aziendali critiche. Comprendere come estrarre, trasformare e caricare i dati batch in modo efficiente è una competenza fondamentale per qualsiasi aspirante professionista dei dati. Questo corso basato su testo ti guida attraverso i paradigmi fondamentali dell'elaborazione dei dati, aiutandoti a scegliere e implementare l'architettura di pipeline giusta per i tuoi progetti. Passerete dalla comprensione dei concetti di base dei dati alla progettazione di pipeline batch pronte per la produzione utilizzando tecnologie cloud standard del settore. Cosa imparerai: * Comprendere le differenze fondamentali tra i paradigmi ETL, ELT ed EL per selezionare l'approccio migliore per i tuoi dati. * Costruire data warehouse scalabili ed eseguire query analitiche utilizzando BigQuery. * Elaborare set di dati su larga scala eseguendo processi Spark su cluster Dataproc gestiti e ambienti serverless. * Progettare flussi di lavoro di pipeline visivi e senza codice utilizzando Cloud Data Fusion. * Applicare moderne pratiche di governance dei dati e gestione degli schemi per garantire l'affidabilità della pipeline. Inizierai con i concetti e la terminologia fondamentali dell'ingegneria dei dati prima di passare alla progettazione delle pipeline. Attraverso spiegazioni scritte strutturate e scenari pratici di codice SQL e Spark, esplorerai come orchestrare diversi strumenti di dati per costruire sistemi di elaborazione batch coesi. Questo corso è progettato per principianti, aspiranti ingegneri dei dati e amministratori di database che desiderano passare a flussi di lavoro di dati basati su cloud. Non è richiesta alcuna precedente esperienza di ingegneria cloud. Inizia oggi stesso a costruire pipeline di dati affidabili e automatizzate.