Fundamentos de engenharia de dados: pipelines, SQL e orquestração

A engenharia de dados é a espinha dorsal da ciência e análise de dados modernas, mas dominar os fundamentos do fluxo e da infraestrutura de dados pode ser complexo. Este curso fornece uma base estruturada nas ferramentas essenciais e padrões arquitetônicos necessários para projetar, construir e manter pipelines confiáveis de ingestão e transformação de dados. Este curso se concentra no conhecimento prático e fundamental, preparando você para enfrentar os desafios e revisões técnicas do engenheiro de dados de nível de entrada. O que você vai aprender: * Entenda os princípios de modelagem de dados, incluindo modelagem dimensional, e gerencie dados relacionais usando o PostgreSQL. * Prática de escrita de consultas SQL e aplicação de Python para processamento de dados complexos e lógica de transformação. * Projetar arquiteturas de dados em lote e streaming confiáveis usando conceitos do Apache Kafka e sistemas de armazenamento distribuído. * Configurar e monitorar fluxos de trabalho de dados reproduzíveis usando os recursos fundamentais do Apache Airflow. * Aplique padrões básicos de armazenamento de dados, incluindo conceitos relacionados a lojas colunares como ClickHouse e otimização de consulta analítica. * Aprenda as melhores práticas essenciais para estruturar, testar e implantar trabalhos de engenharia de dados de forma eficiente. O curso começa com a terminologia básica e a teoria de modelagem de dados, progride através da aplicação prática usando Python e SQL para manipulação de dados e conclui com lições sobre a estruturação de fluxos de trabalho complexos e a integração de várias tecnologias de armazenamento e streaming. Este curso foi projetado especificamente para iniciantes interessados em se tornarem engenheiros de dados. Não é necessária experiência prévia com infraestrutura de dados ou codificação complexa, apenas conhecimento básico de programação. Comece a construir seu conhecimento fundamental de engenharia de dados hoje.