Инженерия данных с Apache Beam и Dataflow: Создание пакетных конвейеров

Современная обработка данных требует масштабируемых, надежных конвейеров для обработки огромных массивов данных. Apache Beam предлагает мощную, унифицированную модель для определения конвейера данных, которую можно легко запускать на управляемых облачных сервисах, таких как Dataflow. Этот курс поможет вам освоить основные концепции обработки данных, пройти путь от разработки локального конвейера до развертывания в облаке. Вы узнаете, как писать чистый, поддерживаемый конвейерный код с помощью Apache Beam Python SDK, применять преобразования и организовывать рабочие процессы обработки в облачной среде. Что вы узнаете: - Понимание основных концепций конвейеров данных, включая PCollections, Transforms, Pipeline Runners и I / O-разъемы. - Настроить локальную среду разработки Python с использованием современных виртуальных сред и зависимостей SDK. - Применяйте преобразования для извлечения, очистки и форматирования данных с помощью встроенных функций Apache Beam. - Реализация подсказок типа Python для обеспечения безопасности конвейера, читаемости кода и надежных схем данных. - Разверните конвейеры пакетной обработки в Dataflow в облаке для полностью управляемого, автоматически масштабируемого выполнения. - Проверьте и отладите свой конвейерный код локально перед перемещением его в производственные среды. Начнем с основных понятий и локального выполнения конвейера, постепенно перейдем к сложной логике преобразований. Наконец, вы изучите облачную интеграцию, научитесь настраивать разрешения и развертывать код для запуска в управляемой облачной инфраструктуре. Этот курс предназначен для начинающих инженеров данных, разработчиков программного обеспечения и аналитиков данных с базовыми знаниями Python, которые хотят научиться обрабатывать данные в облаке. Не требуется предыдущий опыт работы с Apache Beam или облачными конвейерами данных. Начните читать сегодня, чтобы построить свой первый масштабируемый конвейер данных с нуля.