Capture de Changement de Données et Ingestion de Données avec Debezium et MySQL

Les entreprises modernes axées sur les données exigent un accès immédiat aux changements de base de données dès qu'ils se produisent. La Capture de Changement de Données (CDC) vous permet de diffuser ces mises à jour instantanément sans surcharger votre base de données principale, permettant l'analyse en temps réel et la synchronisation transparente des données. Ce cours fournit une base solide pour l'utilisation de Debezium afin de combler le fossé entre votre base de données MySQL et votre écosystème de données plus large. Vous acquerrez les compétences nécessaires pour configurer, gérer et mettre à l'échelle des pipelines CDC pour des environnements prêts pour la production. En parcourant des explications pratiques et des exemples basés sur du code, vous passerez du statut de débutant à celui de praticien capable de gérer des flux de travail d'ingestion de données complexes. Ce que vous apprendrez : - Comprendre les principes fondamentaux de la Capture de Changement de Données et des architectures événementielles. - Configurer les connecteurs Debezium pour surveiller les binlogs MySQL et capturer les changements au niveau des lignes. - Transformer et filtrer les flux de données pour garantir que seules les informations pertinentes parviennent à vos consommateurs. - Mettre en œuvre des pratiques d'observabilité modernes pour surveiller la santé et la latence de vos pipelines de données. - Appliquer des stratégies d'évolution de schéma pour gérer les changements de base de données sans perturber les services en aval. - Déployer Debezium dans des environnements autonomes et conteneurisés pour une ingestion de données évolutive. Le cours commence par les définitions de base et l'architecture du streaming de données distribué. Vous progresserez ensuite à travers les exigences techniques de MySQL pour la CDC et passerez aux détails d'implémentation pratiques, y compris l'optimisation des performances et la gestion des erreurs. Ce cours est conçu pour les ingénieurs de données aspirants, les administrateurs de bases de données et les développeurs de logiciels qui découvrent la Capture de Changement de Données. Aucune expérience préalable avec Debezium n'est requise, bien qu'une compréhension de base de SQL et des concepts de base de données soit utile. Commencez à construire votre premier flux de données en temps réel dès aujourd'hui.