Создание потоковых конвейеров данных на GCP

Современные предприятия полагаются на доли секунды, что делает возможность обработки непрерывных потоков данных критическим навыком для специалистов по данным. Этот текстовый курс поможет вам освоить основные концепции и практические архитектуры, необходимые для эффективной обработки неограниченных потоков информации. Вы перейдете от пакетной обработки данных к потоковой архитектуре, научитесь получать, преобразовывать и хранить данные в реальном времени. Понимая, как работают окна, триггеры и данные, поступающие с опозданием, вы приобретете навыки создания устойчивых конвейеров, которые обеспечивают работу интерактивных панелей и мгновенного анализа. Что вы узнаете: - Понять основные концепции потокового вещания, включая ограниченные и неограниченные наборы данных и время события и время обработки. - Настройка Pub / Sub темы и подписки для приема высокоскоростных потоков данных надежно. - Создание потоковых конвейеров с использованием Dataflow для фильтрации, агрегирования и обогащения данных на лету. - Применять стратегии окон и обеспечивать накопление данных на поздних этапах для точного анализа по времени. - Поток обработанных данных непосредственно в BigQuery для запросов в реальном времени и оперативного анализа. - Внедрение стратегий наблюдения, мониторинга и обработки ошибок в трубопроводах для поддержания работоспособности системы. Курс начинается с основных терминов потоковой передачи и архитектурных шаблонов, а затем переходит к поэтапным письменным руководствам по созданию и подключению уровней поглощения, обработки и хранения. Вы закончите изучение методов мониторинга, чтобы ваши конвейеры в реальном времени работали гладко. Этот курс предназначен для начинающих инженеров, разработчиков и аналитиков, которые хотят перейти к обработке данных в реальном времени. Не требуется предыдущий опыт работы с потоковой аналитикой или облачными конвейерами данных. Начните читать сегодня, чтобы освоить основы потоковой передачи данных в реальном времени.