Canalizaciones de datos prácticas con Apache Airflow

Apache Airflow, la herramienta estándar del sector para la orquestación de flujos de trabajo, le permite automatizar y gestionar procesos de datos complejos, como la generación de informes, la creación de informes y la creación de informes de datos. Este curso proporciona una introducción completa basada en texto para construir tuberías de datos confiables.Pasará de los conceptos básicos a la aplicación práctica, aprendiendo a definir, programar y monitorear sus flujos de trabajo completamente a través de código.Al final, tendrá las habilidades fundamentales para construir tuberías de datos robustas, repetibles y observables para sus propios proyectos. Lo que aprenderás: - Comprenda los conceptos básicos de Airflow, incluidos DAG, operadores, tareas y su arquitectura subyacente. - Construya su primera canalización de datos desde cero, definiendo las dependencias de tareas y programando ejecuciones regulares. - Utilice la moderna API TaskFlow para escribir tuberías de datos limpias, intuitivas y nativas de Python. - Aprenda a usar Hooks y Connections para interactuar de forma segura con sistemas externos como bases de datos y servicios en la nube. - Practique pasar datos entre tareas de manera efectiva utilizando el mecanismo XComs de Airflow. - Defina las dependencias y el linaje de los datos utilizando funciones modernas como Data-Aware Scheduling y Assets. - Explore diferentes ejecutores de Airflow y comprenda los principios de escalar su orquestación de datos. El curso comienza con los principios fundamentales de la orquestación de datos y los componentes clave de Airflow, y luego avanzará a través de ejercicios prácticos y escritos para crear y administrar canalizaciones de datos completas, reforzando su comprensión en cada paso. Este curso está diseñado para principiantes completos, no se requiere experiencia previa con Apache Airflow o orquestación de datos, aunque una comprensión básica de Python será beneficiosa. Comience a crear canalizaciones de datos automatizadas hoy mismo.