Основы облачной обработки данных с помощью BigQuery и Dataflow

Поскольку организации ежедневно генерируют огромные объемы данных, спрос на структурированные, надежные потоки данных никогда не был выше. Понимание того, как эффективно получать, преобразовывать и хранить эти данные в современной облачной инфраструктуре, является основополагающим навыком для любого начинающего специалиста по данным. Этот текстовый курс поможет вам перейти от уровня абсолютного новичка к уверенному пониманию архитектуры облачных данных. Вы узнаете, как проектировать конвейеры данных, управлять масштабируемым хранилищем и обрабатывать потоки данных с помощью стандартных инструментов облачного хранения. Что вы узнаете: - Понимание основных ролей, обязанностей и фундаментальных архитектур конвейера. - Изучите варианты хранения в облаке и выберите правильную базу данных или решение для аналитических потребностей. - Запрос и анализ больших наборов данных с использованием BigQuery и современных методов оптимизации SQL. - Создание пакетных и потоковых конвейеров с использованием Dataflow и шаблонов сообщений pub-sub. - Применять современные концепции хранилищ данных и базовую организацию конвейера для обеспечения качества данных. Вы начнете с основных терминов и концепций архитектуры, а затем пройдете пошаговые рабочие процессы проектирования конвейера. Материал охватывает ввод, преобразование и хранение данных, а также содержит концептуальные упражнения для проверки вашего понимания. Этот курс предназначен для абсолютно начинающих, начинающих инженеров данных и аналитиков, которые хотят перейти к облачным технологиям. Для начала работы не требуется предыдущий опыт работы в облаке или навыки программирования. Начните создавать основу для облачного анализа данных уже сегодня.