Разработка бессерверных конвейеров данных с Dataflow

Эффективная обработка больших объемов данных требует масштабируемой инфраструктуры, которая не требует постоянного ручного управления сервером. Этот всеобъемлющий текстовый курс поможет вам разработать, написать и запустить конвейеры обработки данных без сервера с помощью Dataflow и Apache Beam. С помощью письменных объяснений и четких примеров кода вы освоите концепции, необходимые для создания готовых к производству конвейеров данных. Что вы узнаете: - Понять основные концепции обработки данных без сервера, жизненные циклы конвейера и основную терминологию. - Написать надежные пакетные и потоковые конвейеры с использованием Apache Beam SDK. - Развертывание и выполнение масштабируемых конвейеров на полностью управляемой архитектуре без сервера. - Реализация современных конвейерных моделей, включая обработку схем, очереди мертвых писем и обработку состояний. - Мониторинг, отладка и оптимизация производительности конвейера с помощью встроенной облачной диагностики. - Применять современные передовые методы для тестирования, проверки и безопасного развертывания трубопроводов. Вы начнете с ключевых определений и основных понятий, прежде чем перейти к подробным письменным объяснениям конвейерного кода, механики выполнения и стратегий устранения неполадок. Этот курс предназначен для начинающих инженеров данных и разработчиков программного обеспечения, и не требует предварительного опыта разработки конвейеров. Начните создавать масштабируемые, не требующие обслуживания конвейеры данных сегодня.