Fundamentos del Procesamiento de Datos Serverless con Dataflow

La ingeniería de datos moderna requiere el procesamiento de conjuntos de datos masivos sin la sobrecarga de gestionar una infraestructura de servidores compleja. El procesamiento de datos serverless resuelve este desafío desacoplando la computación del almacenamiento, lo que le permite centrarse puramente en la lógica del pipeline. Este curso le introduce a los principios fundamentales de la ingeniería de datos serverless utilizando Apache Beam y Dataflow. Pasará de comprender la terminología básica del procesamiento de datos a escribir, probar y ejecutar sus propios pipelines serverless. Lo que aprenderá: - Comprender los conceptos fundamentales del procesamiento de datos serverless y cómo Dataflow ejecuta los pipelines. - Escribir pipelines Apache Beam utilizando prácticas de programación modernas, incluyendo type hints y esquemas estructurados. - Aplicar lógica de transformación para manipular, filtrar y agregar datos por lotes y en streaming. - Aprovechar el framework de Portabilidad de Beam para comprender cómo se ejecutan los pipelines en diferentes backends de ejecución. - Practicar la escritura de pruebas unitarias para sus pipelines de datos para garantizar la fiabilidad antes del despliegue. Comenzará con definiciones centrales y la arquitectura de pipelines serverless antes de pasar a explicaciones escritas paso a paso sobre cómo escribir código de pipeline, ejecutarlo localmente y desplegarlo en un entorno de nube totalmente gestionado. Este curso está diseñado para aspirantes a ingenieros de datos, desarrolladores de software y administradores de bases de datos que son nuevos en el procesamiento de datos serverless y desean una base conceptual clara. No se requiere experiencia previa con Apache Beam o Dataflow. Comience a leer hoy mismo para construir su base en la ingeniería de datos serverless moderna.