Основы облачной обработки данных: BigQuery и проектирование конвейеров

Современные организации полагаются на данные, что делает инженеров данных высоко востребованными специалистами, которые строят инфраструктуру, обеспечивающую бизнес-анализ. Этот курс познакомит вас с основными концепциями облачного инжиниринга данных, не требуя предварительного опыта. Вы перейдете от понимания основных концепций данных к проектированию надежных конвейеров данных и управлению облачными хранилищами данных. С помощью четких письменных объяснений и структурированных упражнений вы узнаете, как эффективно получать, преобразовывать и хранить данные с использованием современных облачных сервисов. Вы узнаете: основные роли, обязанности и жизненный цикл современной инженерии данных; проектирование масштабируемых пакетных конвейеров данных и конвейоров данных в реальном времени с использованием таких сервисов, как Pub/Sub и Dataflow; эффективное выполнение запросов и управление массивами данных на облачных хранилищах данных BigQuery; применение шаблонов ELT и ETL для очистки, преобразования и анализа данных. подготовить данные для анализа; изучить современные тенденции в архитектуре данных, включая озера данных (data lakes), сетки данных и основные аналитические рабочие процессы; практиковаться в написании оптимизированных SQL-запросов и конфигураций конвейеров с помощью текстовых упражнений. Курс начинается с основных определений и ролей в инженерии данных, а затем переходит к облачной архитектуре, решениям хранения, конвейерам обработки данных и практическим методам оптимизации запросов. Этот курс предназначен для начинающих инженеров данных, администраторов баз данных и технических энтузиастов, не имеющих опыта работы в области облачной инженерии. Начните читать уже сегодня, чтобы заложить основы своей карьеры в области обработки данных в облаке.