Создание систем потоковой аналитики в облаке

Современные предприятия полагаются на решения, принимаемые в доли секунды, что делает обработку данных в реальном времени критическим навыком для современных специалистов по данным. Обработка непрерывных, неограниченных потоков данных требует перехода от традиционной пакетной обработки к динамической, управляемой событиями архитектуре. Этот курс, доступный только в текстовом формате, поможет вам освоить основные концепции и практические архитектуры, необходимые для создания надежных систем потокового анализа в облаке. Вы узнаете, как надежно и эффективно получать, обрабатывать и анализировать потоки данных в реальном времени. Что вы узнаете: - Понять основные различия между архитектурами пакетной и потоковой обработки данных. - Настройка конвейеров поглощения с использованием Pub/Sub для обработки потоков сообщений с высокой пропускной способностью в режиме реального времени. - Разработайте потоковые конвейеры данных с Dataflow для обработки неограниченных наборов данных при помощи пользовательских стратегий окна. - Применять принципы управления схемами и проверки данных для обеспечения качества и согласованности потоков. - Анализ потоковых данных в реальном времени путем маршрутизации обработанных выходов в BigQuery для немедленного запроса. - Внедрение стратегий мониторинга, обработки ошибок и оптимизации затрат для облачной потоковой инфраструктуры. Курс начинается с основных терминов потоковой передачи и концептуальных рамок, а затем пошагово описывает конструкции трубопроводов. С помощью письменных объяснений и архитектурных разбивок вы узнаете, как бесшовно соединять уровни поглощения, обработки и хранения. Этот курс предназначен для начинающих инженеров данных, разработчиков и энтузиастов облачных технологий, которые не знакомы с данными в реальном времени и не имеют предыдущего опыта работы с потоковыми данным. Начните создавать надежные каналы данных в реальном времени уже сегодня.