Основы облачной обработки данных с помощью BigQuery и Dataflow

Поскольку организации ежедневно генерируют огромное количество данных, спрос на квалифицированных специалистов, которые могут разрабатывать надежные трубопроводы, выше, чем когда-либо. Этот курс познакомит вас с основными принципами инженерии данных на современных облачных платформах, с акцентом на масштабируемые хранение и обработку. Вы перейдете от понимания основных концепций базы данных к проектированию и выполнению готовых к производству рабочих процессов. С помощью четких письменных объяснений и практических сценариев вы узнаете, как эффективно получать, преобразовывать и хранить данные с помощью таких инструментов, как BigQuery, Pub/Sub и Dataflow, используя современные методы, такие как управление схемами и оркестрация конвейеров. Вы узнаете: основные понятия инженерии данных, включая модели ETL/ELT и типы хранения; настройку масштабируемых хранилищ данных и запуск оптимизированных запросов с помощью BigQuery; создание потоковых и пакетных конвейеров с помощьй Pub/Sub и Dataflow; применение современных концепций архитектуры Data Lakehouse для организации неструктурированных и структурированных данных. Структурированные данные; Разработка чистых, структурированных схем, которые обеспечивают качество данных и управление в конвейере; Практика написания преобразований SQL и логики конвейера с помощью поэтапных письменных упражнений. Курс начинается с основных терминов и структурных концепций, а затем вы пройдете практические сценарии трубопроводов. Вы пройдете путь от базовой настройки хранилища данных до разработки полностью автоматизированных, бессерверных рабочих процессов. Этот курс предназначен для начинающих, начинающих инженеров данных и аналитиков, которые хотят перейти к облачной инфраструктуре. Не требуется предыдущий опыт работы в облаке, хотя полезно знакомиться с SQL. Начните создавать основу для обработки данных в облаке уже сегодня.