Procesamiento de datos Serverless con Dataflow y Beam

La ingeniería de datos moderna requiere la capacidad de procesar conjuntos de datos masivos de manera eficiente sin gestionar infraestructura compleja. Este curso basado en texto lo guiará a través de los conceptos fundamentales del procesamiento de datos serverless utilizando Dataflow y el Apache Beam SDK. Comenzará con la terminología clave, comprendiendo cómo se estructuran los pipelines, antes de pasar al desarrollo práctico de pipelines. Al final de este curso, será capaz de diseñar, escribir y ejecutar sus propios pipelines de datos serverless tanto para datos en lote (batch) como en streaming. Lo que aprenderá: Comprender los conceptos clave de Beam, incluyendo PCollections, transforms, pipeline runners y el modelo de ejecución; Escribir pipelines de procesamiento de datos personalizados utilizando el Beam SDK para limpiar, transformar y agregar datos; Configurar pipelines para manejar tanto archivos en lote históricos como fuentes de datos en streaming en tiempo real; Implementar patrones de pipelines modernos, incluyendo windowing, triggers y side inputs; Desplegar pipelines en Dataflow para aprovechar el auto-escalado y la ejecución serverless. El curso comienza con los fundamentos teóricos esenciales, explicando cómo funciona el procesamiento distribuido, y luego lo guía paso a paso a través de la escritura de código de pipeline, la gestión de errores y la optimización del rendimiento. Este curso está diseñado para principiantes en ingeniería de datos, desarrolladores de software y analistas de datos que deseen aprender procesamiento de datos serverless. Conocimientos básicos de programación en Python o Java son de ayuda, pero no se requiere experiencia previa en ingeniería de datos en la nube. Comience a leer para dominar los pipelines de datos serverless hoy mismo.