Инженерия данных AWS: создание и организация современных конвейеров данных

В современном мире, где все зависит от данных, организации полагаются на надежные каналы передачи данных для преобразования необработанной информации в полезные выводы. Этот курс поможет вам пройти процесс разработки и развертывания готовых к производству платформ данных на AWS. Вы перейдете от понимания основных парадигм баз данных к созданию современных архитектур Lakehouse и автоматизации рабочих процессов, приобретая практические навыки, необходимые для работы в качестве инженера по облачным данным. Что вы узнаете: - Эффективно моделировать данные в реляционных, документных и графических базах данных, включая PostgreSQL, MongoDB и Neo4j - Создание облачных хранилищ данных с использованием Redshift, проектирование оптимизированных размерных схем и надежных конвейеров ETL - Реализуйте современные архитектуры озер с S3, Glue, Iceberg и Athena с использованием Apache Spark для обработки слоев данных - Оркестрировать и планировать сложные потоки данных с использованием Apache Airflow и MWAA - Применение современных методов проверки качества данных и базовых концепций инфраструктуры как кода для обеспечения надежности трубопроводов Курс начинается с основных концепций баз данных и стратегий моделирования данных, а затем переходит к облачному хранилищу, архитектурам Lakehouse и автоматизированной оркестрации. Через четкие письменные объяснения, архитэктурные разбивки и структурированные фрагменты кода вы узнаете, как проектировать комплексные системы данных. Этот курс предназначен для начинающих инженеров данных, разработчиков программного обеспечения и аналитиков данных. Не требуется предыдущий опыт работы с AWS или инженерии данных; полезно базовое понимание SQL и Python. Начните создавать основу для обработки данных в облаке уже сегодня.