Criação de pipelines de dados em lote com o BigQuery e o Dataproc

As organizações modernas dependem de fluxos de dados estáveis e confiáveis para tomar decisões de negócios críticas.Entender como extrair, transformar e carregar dados em lote com eficiência é uma habilidade fundamental para qualquer aspirante a profissional de dados. Este curso baseado em texto orienta você através dos principais paradigmas de processamento de dados, ajudando você a escolher e implementar a arquitetura de pipeline correta para seus projetos.Você fará a transição de entender os conceitos básicos de dados para projetar pipelines de lote prontos para produção usando tecnologias de nuvem padrão do setor. O que você vai aprender: * Entenda as diferenças fundamentais entre os paradigmas ETL, ELT e EL para selecionar a melhor abordagem para seus dados. * Crie data warehouses escaláveis e execute consultas analíticas usando o BigQuery. * Processe conjuntos de dados em grande escala executando tarefas do Spark em clusters gerenciados do Dataproc e ambientes sem servidor. * Crie fluxos de trabalho de pipeline visuais e sem código usando o Cloud Data Fusion. * Aplique práticas modernas de governança de dados e gerenciamento de esquemas para garantir a confiabilidade do pipeline. Você começará com conceitos e terminologia de engenharia de dados principais antes de avançar para o projeto de pipeline.Através de explicações escritas estruturadas e cenários práticos de código SQL e Spark, você explorará como orquestrar diversas ferramentas de dados para construir sistemas coesos de processamento em lote. Este curso foi projetado para iniciantes, aspirantes a engenheiros de dados e administradores de banco de dados que desejam fazer a transição para fluxos de trabalho de dados baseados em nuvem. Comece a criar pipelines de dados confiáveis e automatizados hoje mesmo.