Modélisation de données par lots avec Cloud Dataflow et Apache Beam

L'ingénierie des données moderne exige la capacité de traiter des ensembles de données massifs efficacement sans gérer d'infrastructure complexe. Ce cours textuel vous guide à travers les concepts fondamentaux de la création de pipelines de données par lots robustes en utilisant Cloud Dataflow et Apache Beam. Vous commencerez par comprendre comment concevoir des flux de travail portables et évolutifs qui gèrent facilement les transformations de données et les prédictions de modèles. Ce que vous apprendrez : Comprendre l'architecture de base de Cloud Dataflow et le traitement de données sans serveur ; Écrire des pipelines par lots portables en utilisant le SDK Apache Beam ; Implémenter des techniques de transformation, de regroupement et d'agrégation de données ; Intégrer des prédictions de modèles d'apprentissage automatique dans vos pipelines par lots ; Surveiller, déboguer et optimiser les performances des pipelines ; Appliquer les meilleures pratiques d'ingénierie des données modernes, y compris les tests de pipeline de base. Le cours commence par la terminologie essentielle et les principes de conception de pipelines, progressant systématiquement de l'ingestion de données de base aux transformations complexes en plusieurs étapes et à l'exécution de modèles par lots. Conçu spécifiquement pour les débutants, ce cours ne nécessite aucune expérience préalable avec les pipelines de données ou l'infrastructure cloud. Commencez à lire dès aujourd'hui pour créer des pipelines de traitement de données évolutifs.