Construcción de Pipelines de Datos por Lotes con BigQuery y Dataproc

Las organizaciones modernas dependen de flujos de datos constantes y confiables para tomar decisiones comerciales críticas. Comprender cómo extraer, transformar y cargar datos por lotes de manera eficiente es una habilidad fundamental para cualquier profesional de datos aspirante. Este curso basado en texto lo guiará a través de los paradigmas centrales del procesamiento de datos, ayudándolo a elegir e implementar la arquitectura de pipeline adecuada para sus proyectos. Pasará de comprender los conceptos básicos de datos a diseñar pipelines por lotes listos para producción utilizando tecnologías en la nube estándar de la industria. Lo que aprenderá: * Comprender las diferencias fundamentales entre los paradigmas ETL, ELT y EL para seleccionar el mejor enfoque para sus datos. * Construir almacenes de datos escalables y ejecutar consultas analíticas utilizando BigQuery. * Procesar conjuntos de datos a gran escala ejecutando trabajos Spark en clústeres Dataproc administrados y entornos sin servidor. * Diseñar flujos de trabajo de pipeline visuales y sin código utilizando Cloud Data Fusion. * Aplicar prácticas modernas de gobernanza de datos y gestión de esquemas para garantizar la confiabilidad del pipeline. Comenzará con los conceptos y la terminología central de ingeniería de datos antes de avanzar al diseño de pipelines. A través de explicaciones escritas estructuradas y escenarios prácticos de código SQL y Spark, explorará cómo orquestar diversas herramientas de datos para construir sistemas cohesivos de procesamiento por lotes. Este curso está diseñado para principiantes, aspirantes a ingenieros de datos y administradores de bases de datos que buscan hacer la transición a flujos de trabajo de datos basados en la nube. No se requiere experiencia previa en ingeniería en la nube. Comience a construir pipelines de datos confiables y automatizados hoy mismo.