Basisprincipes van serverloze gegevensverwerking met Dataflow

Moderne data engineering vereist de verwerking van enorme datasets zonder de overhead van het beheer van een complexe serverinfrastructuur.Serverless data processing lost deze uitdaging op door de compute te ontkoppelen van de opslag, zodat u zich puur kunt richten op de logica van de pijplijn. Deze cursus introduceert u de kernprincipes van serverloze data engineering met behulp van Apache Beam en Dataflow.U gaat van het begrijpen van de basisterminologie voor gegevensverwerking naar het schrijven, testen en uitvoeren van uw eigen serverlozen pijpleidingen. Wat je leert: - Begrijp de fundamentele concepten van serverloze gegevensverwerking en hoe Dataflow pijpleidingen uitvoert. - Schrijf Apache Beam-pijpleidingen met behulp van moderne programmeerpraktijken, inclusief type hints en gestructureerde schema's. - Pas transformatielogica toe om zowel batch- als streaminggegevens te manipuleren, filteren en aggregeren. - Maak gebruik van het Beam Portability-raamwerk om te begrijpen hoe pijpleidingen worden uitgevoerd in verschillende uitvoeringsbackends. - Oefen het schrijven van unittests voor uw datapijpleidingen om de betrouwbaarheid te garanderen voordat u ze implementeert. U begint met kerndefinities en de architectuur van serverloze pijpleidingen voordat u stapsgewijze schriftelijke uitleg krijgt over het schrijven van pijplijncode, het lokaal uitvoeren en implementeren in een volledig beheerde cloudomgeving. Deze cursus is bedoeld voor aspirant-data-engineers, softwareontwikkelaars en databasebeheerders die nieuw zijn voor serverloze gegevensverwerking en een duidelijke, conceptuele basis willen.Ervaring met Apache Beam of Dataflow is niet vereist. Begin vandaag nog met lezen om uw basis te leggen in moderne serverloze data engineering.