Fondamentaux de l'ingénierie des données : Pipelines, SQL et Orchestration

L'ingénierie des données est l'épine dorsale de la science des données et de l'analyse modernes, mais la maîtrise des fondamentaux du flux de données et de l'infrastructure peut être complexe. Ce cours fournit une base structurée dans les outils essentiels et les modèles architecturaux requis pour concevoir, construire et maintenir des pipelines d'ingestion et de transformation de données fiables. Ce cours se concentre sur des connaissances pratiques et fondamentales, vous préparant à relever les défis des postes d'ingénieur de données de niveau d'entrée et les revues techniques. Ce que vous apprendrez : * Comprendre les principes de modélisation des données, y compris la modélisation dimensionnelle, et gérer les données relationnelles à l'aide de PostgreSQL. * Pratiquer l'écriture de requêtes SQL performantes et l'application de Python pour une logique de traitement et de transformation de données complexe. * Concevoir des architectures de données batch et de streaming fiables en utilisant des concepts d'Apache Kafka et de systèmes de stockage distribués. * Configurer et surveiller des flux de travail de données reproductibles en utilisant les fonctionnalités fondamentales d'Apache Airflow. * Appliquer des modèles de base d'entreposage de données, y compris des concepts liés aux magasins colonnaires comme ClickHouse et à l'optimisation des requêtes analytiques. * Apprendre les meilleures pratiques essentielles pour structurer, tester et déployer efficacement les tâches d'ingénierie des données. Le cours commence par la terminologie de base et la théorie de la modélisation des données, progresse à travers l'application pratique utilisant Python et SQL pour la manipulation des données, et se termine par des leçons sur la structuration de flux de travail complexes et l'intégration de diverses technologies de stockage et de streaming. Ce cours est conçu spécifiquement pour les débutants absolus intéressés à devenir des ingénieurs de données. Aucune expérience préalable de l'infrastructure de données ou du codage complexe n'est requise, seulement des connaissances de base en programmation. Commencez à construire vos connaissances fondamentales en ingénierie des données dès aujourd'hui.