Ingénierie des données avec Apache Beam et Dataflow : Créer des pipelines batch

L'ingénierie des données moderne nécessite des pipelines évolutifs et fiables pour traiter des ensembles de données massifs. Apache Beam offre un modèle unifié et puissant pour définir des pipelines de données que vous pouvez exécuter sans effort sur des services cloud gérés comme Dataflow. Ce cours écrit vous guide à travers les concepts fondamentaux du traitement des données, vous menant du développement de pipelines locaux au déploiement à l'échelle du cloud. Vous apprendrez à écrire du code de pipeline propre et maintenable en utilisant le SDK Python Apache Beam, à appliquer des transformations et à orchestrer vos flux de données dans un environnement cloud. Ce que vous apprendrez : - Comprendre les concepts clés des pipelines de données, y compris PCollections, Transforms, Pipeline Runners et les connecteurs d'E/S. - Configurer un environnement de développement Python local en utilisant des environnements virtuels modernes et des dépendances SDK. - Appliquer des transformations pour extraire, nettoyer et formater des données en utilisant les fonctions intégrées d'Apache Beam. - Implémenter des annotations de type Python pour assurer la sécurité des pipelines, la lisibilité du code et des schémas de données robustes. - Déployer des pipelines de traitement batch sur Dataflow dans le cloud pour une exécution entièrement gérée et auto-évolutive. - Tester et déboguer votre code de pipeline localement avant de le déplacer vers des environnements de production. Vous commencerez par maîtriser les termes fondamentaux et l'exécution de pipelines locaux, pour ensuite passer progressivement à une logique de transformation avancée. Enfin, vous explorerez l'intégration cloud, en apprenant à configurer les autorisations et à déployer votre code pour qu'il s'exécute sur une infrastructure cloud gérée. Ce cours est conçu pour les futurs ingénieurs de données, développeurs de logiciels et analystes de données qui ont une compréhension de base de Python et souhaitent apprendre le traitement des données natif au cloud. Aucune expérience préalable avec Apache Beam ou les pipelines de données cloud n'est requise. Commencez à lire dès aujourd'hui pour créer votre premier pipeline de données évolutif à partir de zéro.