Engenharia de Qualidade de Dados: Testes de ETL e Data Warehouse

Em uma era impulsionada por dados, as organizações dependem de informações precisas para tomar decisões críticas e treinar modelos de inteligência artificial.Os engenheiros de garantia de qualidade de dados (QA) garantem que os pipelines de dados permaneçam confiáveis, limpos e sem erros da fonte ao destino. Este curso fornece uma introdução abrangente ao teste de armazéns de dados e pipelines ETL / ELT.Você fará a transição da compreensão da arquitetura de dados principais para projetar, executar e documentar estratégias robustas de validação de dados que mantêm os pipelines de dados funcionando sem problemas. O que você vai aprender: - Entenda a arquitetura fundamental de armazenamento de dados, modelagem dimensional e esquemas. - Compare padrões modernos de ETL e ELT, identificando quando aplicar cada um em ambientes modernos baseados em nuvem. - Projete casos de teste abrangentes para pipelines de dados, incluindo a validação de dimensões de mudança lenta (SCDs). - Aplique consultas SQL para executar reconciliação de dados, verificações duplicadas e validação de valor nulo. - Analise os requisitos de qualidade de dados para treinar o aprendizado de máquina e os modelos de linguagem grandes (LLMs) para evitar vieses e alucinações. - Pratique a implementação de verificações de qualidade de dados estruturados usando princípios de teste padrão do setor. Você começará explorando os principais conceitos de armazenamento de dados e padrões arquitetônicos fundamentais.A partir daí, você progredirá através de cenários de teste práticos, aprendendo a escrever scripts de validação SQL e garantir a integridade do pipeline em ambientes modernos. Este curso foi projetado para aspirantes a engenheiros de QA de dados, testadores de software em transição para funções de dados e analistas de dados que desejam garantir a integridade do pipeline.Uma compreensão básica do SQL é útil, pois você lerá e escreverá consultas de teste ao longo do material. Comece sua jornada na engenharia de qualidade de dados e saiba como proteger a integridade dos pipelines de dados modernos hoje mesmo.