Engenharia de dados com Apache Airflow: Fundamentos e Prática

O Apache Airflow fornece uma estrutura robusta para criar e monitorar fluxos de trabalho de forma programática, garantindo que seus dados cheguem no prazo e no formato correto. Você aprenderá a escrever código limpo e escalável para seus fluxos de trabalho e implantá-los em vários ambientes, seguindo as melhores práticas padrão do setor para engenharia de dados. O que você vai aprender: - Entenda os principais componentes do Airflow, incluindo o agendador, o servidor da Web e o banco de dados de metadados - Crie e gerencie gráficos acíclicos direcionados (DAGs) usando a API TaskFlow e o mapeamento dinâmico de tarefas - Configure diferentes executores, como Celery e Kubernetes, para dimensionar suas cargas de trabalho - Implemente a lógica avançada do pipeline com sensores, ganchos e dependências entre DAGs - Proteja seu ambiente usando o controle de acesso baseado em função (RBAC) e a criptografia de dados - Monitore a saúde e o desempenho do sistema usando padrões integrados de registro e observabilidade O material começa com terminologia e arquitetura fundamentais antes de passar para a construção prática de DAG.Você explorará como integrar o Airflow com serviços externos e gerenciar a infraestrutura usando ambientes em contêineres, como Docker e clusters Kubernetes baseados em nuvem. Este curso foi projetado para iniciantes em engenharia de dados ou DevOps que querem aprender a orquestração de fluxo de trabalho do zero.Não é necessária experiência prévia com o Airflow. Comece a construir pipelines de dados confiáveis hoje mesmo.