Создание конвейеров данных в реальном времени с помощью Cloud Dataflow и Pub/Sub

Современные предприятия постоянно генерируют данные, требующие немедленной обработки для принятия своевременных решений. Этот курс, состоящий только из текста, поможет вам освоить основные концепции архитектуры потоковых данных и анализа в реальном времени в облаке. Вы перейдете от понимания пакетной обработки к проектированию надежных потоковых конвейеров с низкой задержкой, которые обеспечивают масштабируемое включение, преобразование и хранение потокового потока данных. Что вы узнаете: - Понимание основных концепций потоковой передачи, включая время события, время обработки и стратегии окна - Настройка слоев приема сообщений с использованием масштабируемых облачных систем pub / sub - Разработка потоковых конвейеров обработки для фильтрации, агрегирования и обогащения данных в режиме реального времени - Обрабатывать сложные потоковые задачи, такие как задержка данных и события вне порядка - Запись потоковых данных в аналитические назначения для запросов и отчетов в реальном времени - Оптимизация производительности конвейера и мониторинг использования ресурсов для контроля затрат на облако Курс начинается с основной терминологии и структурных основ, а затем переходит к поэтапным письменным руководствам по конфигурации конвейера, преобразованию данных и передовым методам работы. Этот курс предназначен для начинающих инженеров данных и энтузиастов облачных технологий, и не требует предыдущего опыта работы с потоковыми системами. Начните читать сегодня, чтобы освоить основы потоковой передачи данных в реальном времени.