Data Engineering met Apache Beam en Dataflow: Batch-pijplijnen bouwen

Apache Beam biedt een krachtig, uniform model voor het definiëren van datapipelines die u moeiteloos kunt uitvoeren op beheerde cloudservices zoals Dataflow, en biedt een reeks krachtige, geïntegreerde API's voor het bouwen van data-engineering-applicaties. Deze schriftelijke cursus leidt u door de fundamentele concepten van gegevensverwerking, van lokale pipeline-ontwikkeling tot implementatie op cloudschaal.U leert hoe u schone, onderhoudbare pipelinecode schrijft met behulp van de Apache Beam Python SDK, transformaties toepast en uw gegevensworkflows in een cloudomgeving orkestreert. Wat je leert: - Begrijp de kernconcepten van datapijpleidingen, waaronder PCollections, Transforms, Pipeline Runners en I / O-connectoren. - Configureer een lokale Python-ontwikkelomgeving met behulp van moderne virtuele omgevingen en SDK-afhankelijkheden. - Pas transformaties toe om gegevens te extraheren, op te schonen en op te maken met behulp van de ingebouwde functies van Apache Beam. - Implementeer Python-type hints om de veiligheid van de pijpleiding, de leesbaarheid van de code en robuuste gegevensschema's te garanderen. - Implementeer batchverwerkingspipelines naar Dataflow in de cloud voor volledig beheerde, automatisch schalende uitvoering. - Test en debug uw pijplijncode lokaal voordat u deze verplaatst naar productieomgevingen. U leert de basisbegrippen en de lokale uitvoering van de pijplijn onder de knie krijgen en gaat geleidelijk over op geavanceerde transformatielogica. Ten slotte gaat u in op cloudintegratie. U lert hoe u machtigingen configureert en uw code implementeert om op een beheerde cloudinfrastructuur te draaien. Deze cursus is bedoeld voor aspirant-data-engineers, softwareontwikkelaars en data-analisten die een basiskennis hebben van Python en willen leren over cloud-native gegevensverwerking.Er is geen eerdere ervaring met Apache Beam of cloud-datapipelines vereist. Begin vandaag nog met lezen om uw eerste schaalbare datapijplijn helemaal opnieuw te bouwen.