Руководство по проекту Azure Data Engineering: проектирование и создание конвейеров

Переход от изолированных учебных пособий к созданию целостного, готового к производству конвейера данных может быть серьезной проблемой. Этот курс ликвидирует этот разрыв, проходя вас через весь жизненный цикл проекта по инженерии данных на основе облака. Вы пройдете путь от понимания основных компонентов облака до архитектуры и реализации полностью функционального конвейера данных. С помощью четких письменных объяснений вы узнаете, как безопасно вводить, преобразовывать и хранить данные с использованием стандартных облачных сервисов и современных передовых методов. Что вы узнаете: - Понимание основных концепций архитектуры облачных данных, уровней хранения и безопасного перемещения данных. - Настройте безопасные решения хранения с помощью Azure Data Lake Storage Gen 2 и AWS S3. - Постройте организованные конвейеры приема данных с помощью Azure Data Factory и событийных триггеров. - Написать логику преобразования в ноутбуках Databricks с использованием PySpark и современных методов оптимизации. - Внедрение практики безопасности корпоративного уровня с использованием Key Vault для управления учетными данными и контролем доступа. - Разработать и загрузить реляционные цели с использованием базы данных Azure SQL для хранения обработанных аналитических данных. Курс начинается с основных понятий облачного хранения и безопасности, а затем переходит к проектированию и архитектуре конвейера. Затем вы пройдете пошаговые этапы реализации, связывая компоненты поглощения, преобразования и хранения в единое, проверенное решение. Этот курс предназначен для начинающих инженеров данных и новичков, которые хотят увидеть, как отдельные облачные службы интегрированы в реальный сценарий. Предыдущий опыт облачной инженерии не требуется, поскольку мы начинаем с фундаментальной терминологии и основных концепций. Начните читать сегодня, чтобы построить свой первый производственный конвейер данных с нуля.