Конвейеры потоковых данных и анализ в реальном времени

Современные организации генерируют данные каждую секунду, и ожидание пакетной обработки больше не является вариантом для принятия решений, требующих быстрого реагирования. Этот курс познакомит вас с архитектурой и реализацией потоковых систем, предназначенных для эффективной обработки непрерывных, неограниченных потоков данных. Вы получите прочную основу в том, как построить трубопроводы, которые поглощают, обрабатывают и хранят данные в реальном времени. К концу этого курса вы сможете разрабатывать системы, которые преобразуют необработанные потоки в практическую бизнес-аналитику по мере поступления данных. Что вы узнаете: - Понять основные различия между пакетными и потоковыми архитектурами данных - Настройка Pub/Sub для высокоскоростного приема и распространения сообщений - Создание логики обработки с использованием Dataflow для преобразования и очистки данных на лету - Применять стратегии окон для агрегирования и анализа данных за конкретные промежутки времени - Управление данными, поступающими с опозданием, и обеспечение надежности системы с помощью водяных знаков и триггеров - Храните обработанные результаты в BigQuery для немедленного анализа и отчетности Курс начинается с основных терминов и основных теоретических понятий, а затем переходит к практическим шагам по настройке и развертыванию функционального конвейера данных. Вы изучите подробные объяснения того, как эти компоненты взаимодействуют для поддержания высокой доступности и низкой задержки. Этот курс предназначен для начинающих в области инженерии данных или анализа, которые хотят понять современное движение данных; не требуется предыдущий опыт работы с потоковыми инструментами. Начните накапливать опыт в области обработки данных в реальном времени уже сегодня.