dbt intermédiaire pour les pipelines de données de production

La mise à l'échelle de la transformation des données nécessite plus que la simple écriture de requêtes SQL de base. Pour construire des pipelines de données fiables et de qualité professionnelle, vous devez mettre en œuvre des tests, une automatisation et un suivi historique robustes. Ce cours textuel vous guide à travers les techniques intermédiaires de dbt pour améliorer votre ingénierie d'analyse de données. Vous passerez de l'écriture de modèles simples à la configuration de flux de travail de données résilients, automatisés et entièrement documentés qui évoluent avec votre organisation. Ce que vous apprendrez : - Configurer des stratégies de test avancées, y compris des tests de schéma personnalisés et des règles de validation pour les sources et les seeds. - Implémenter des snapshots dbt pour suivre les changements de données historiques à l'aide de Slowly Changing Dimensions (SCD Type 2). - Optimiser l'exécution des pipelines à l'aide de dbt build pour rationaliser les exécutions de modèles, de tests et de snapshots. - Gérer efficacement les ensembles de données statiques à l'aide de seeds dbt et documenter la lignée des données pour une meilleure gouvernance. - Appliquer des principes modernes de structuration de projet et de conception modulaire pour maintenir votre projet dbt propre et maintenable. - Comprendre les bases des flux de travail d'intégration continue (CI) pour déployer les changements dbt en toute sécurité. Vous commencerez par examiner la terminologie essentielle et les structures de projet fondamentales avant de plonger dans des explications écrites étape par étape sur les configurations avancées, les extraits de code et les modèles de conception pratiques. Ce cours est conçu pour les analystes de données, les ingénieurs d'analyse et les développeurs qui ont une compréhension de base de SQL et des concepts fondamentaux de dbt et qui sont prêts à construire des pipelines prêts pour la production. Commencez à lire dès aujourd'hui pour créer des flux de travail de transformation de données plus propres et plus fiables.