Инженерия данных AWS: создание аналитических конвейеров

Управление крупномасштабными потоками данных требует безопасной, масштабируемой и эффективной инфраструктуры. Этот текстовый курс проложит вам путь к созданию современных конвейеров данных с использованием экосистемы анализа AWS. Вы пройдете путь от понимания основных понятий облачного хранения данных до разработки сквозных конвейеров данных, которые обеспечивают ввод, обработку, хранение и запрос данных. Изучая четкие архитектурные объяснения и анализируя примеры структурированного кода, вы приобретете практические знания, необходимые для организации сложных рабочих процессов данных в облаке. Что вы узнаете: - Понимание основных концепций данных в облаке, конфигураций безопасности и управления идентификацией с использованием AWS S3 и IAM. - Создание масштабируемых пакетных и потоковых конвейеров в реальном времени с использованием AWS Lambda, Kinesis и Glue. - Обрабатывайте крупномасштабные наборы данных с помощью PySpark на AWS EMR и управляйте каталогами метаданных с помощьют AWS Glue. - Запрос данных непосредственно в S3 с помощью Athena и выполнение высокопроизводительных операций хранения данных в Redshift. - Примените современные шаблоны проектирования данных, включая форматы транзакционных таблиц, такие как Apache Iceberg на AWS. - Настроить автоматизированные развертывания конвейера данных с использованием основных концепций инфраструктуры как кода. Курс начинается с основных понятий об облачном хранилище и безопасности, а затем переходит к вопросам ввода данных, распределенной обработки с помощью Spark, бессерверных запросов и хранилищ данных. Вы изучите пошаговые письменные руководства и фрагменты кода SQL/Python, которые помогут вам стать более уверенным в своих инженерных способностях. Этот курс предназначен для начинающих инженеров данных, администраторов баз данных и разработчиков программного обеспечения, которые не знакомы с аналитическими услугами AWS. Не требуется предыдущий опыт работы в области облачной инженерии. Начните читать сегодня, чтобы построить свой фундамент в облачном инжиниринге данных.