Введение в инженерию данных: проектирование и создание масштабируемых конвейеров

Данный курс поможет вам освоить основные принципы создания надежных конвейеров данных с нуля, а также научиться создавать и использовать мощные инструменты для анализа данных, которые помогут вам найти и использовать данные, которые вам нужны. Работая с этими основными материалами, вы пройдете путь от понимания основных концепций баз данных до разработки эффективных рабочих процессов ETL/ELT, использования облачных ресурсов и внедрения надежных шаблонов автоматизации. Что вы узнаете: * Изучите основополагающую терминологию инженерии данных, архитектуры хранения и принципы проектирования баз данных. * Написать расширенные запросы SQL для фильтрации, агрегирования и преобразования сложных наборов данных. * Создание и автоматизация надежных ETL / ELT трубопроводов с использованием современных рабочих процессов оркестрации. * Настройка облачных хранилищ данных и конвейеров обработки с использованием основных платформ, таких как AWS. * Практика работы с отказами трубопроводов, мониторинга производительности и обеспечения защиты конфиденциальных данных. * Понимание современных тенденций в области инженерии данных, включая высокопроизводительные библиотеки данных и векторные базы данных для интеграции ИИ. Курс начинается с основных терминов и моделирования баз данных, а затем вы пройдете практические занятия по оптимизации SQL, облачным архитектурам и автоматизации конвейеров. Вы прочитаете подробные объяснения, проанализируете четкие фрагменты кода и выполните письменные концептуальные упражнения, чтобы закрепить свои навыки. Этот курс предназначен для абсолютно начинающих, начинающих специалистов по данным и разработчиков программного обеспечения, которые хотят перейти к инженерии данных, без предварительного опыта работы с трубопроводами. Начните свой путь к созданию надежной инфраструктуры данных сегодня.