Fondamenti di ingegneria dei Big Data: progettazione e archiviazione delle pipeline

Le organizzazioni moderne generano grandi quantità di informazioni che richiedono architetture specializzate per archiviare, elaborare e analizzare in modo efficiente.Questo corso ti introduce ai principi fondamentali dei sistemi di big data, fornendoti le competenze necessarie per comprendere l'infrastruttura dei dati scalabile e la meccanica delle pipeline. Passerai dalla terminologia fondamentale alla progettazione pratica del flusso di lavoro, preparandoti ad affrontare le sfide dei dati del mondo reale. In questo corso, imparerai a: - Comprendere i concetti chiave dei big data, i modelli architettonici e le definizioni di archiviazione - Esplora i sistemi di archiviazione distribuiti e i paradigmi di calcolo come l'elaborazione batch e stream - Analizza strumenti di elaborazione come Hadoop e Spark per la gestione di enormi set di dati - Impara i moderni modelli di archiviazione dei dati, comprese le architetture di data lakehouse e i formati di file colonnari - Progetta pipeline di ingestione e trasformazione dei dati robuste utilizzando una logica di codice pulita - Applica le tue conoscenze completando un esercizio di progettazione di pipeline di dati pronti per il portafoglio Il corso inizia con la terminologia essenziale e i concetti fondamentali dell'infrastruttura prima di passare alla costruzione pratica della pipeline e all'ottimizzazione delle query. Questo programma basato su testo è progettato per principianti e aspiranti professionisti della tecnologia che cercano di entrare nel campo senza alcuna esperienza precedente in materia di big data.