Практические занятия по Apache Beam с Kotlin: практические упражнения по конвейеру данных

Эффективная обработка больших объемов данных требует как мощных фреймворков, так и выразительных языков программирования. Этот текстовый курс поможет вам освоить основы создания конвейеров обработки данных с использованием Apache Beam и Kotlin, сочетая унифицированную модель программирования Beam с современным, лаконическим синтаксисом Kotlin. Вы перейдете от понимания основных концепций конвейера данных к написанию, рефакторингу и оптимизации собственного конвейерного кода с помощью структурированных письменных упражнений.Что вы узнаете: • Понимание основных понятий Apache Beam, включая конвейеры, PCollections и преобразования. • Реализация пакетных и потоковых конвейеров данных с использованием экспрессивного и типобезопасного синтаксиса Kotlin. • Применение стратегий окнообразования, триггеров и накопления для обработки данных, не входящих в порядок. • Написание пользовательских PTransforms для модуляризации и повторного использования логики обработки ваших данных. • Практика отладки и тестирования конвейера Apache Beam с использование локальных выполнителей. • Интегрируйте современные функции Kotlin, такие как нулевая безопасность и классы данных, чтобы писать более чистый конвейерный код. Начиная с основных определений и настройки, вы пройдете через ряд письменных программных задач, предназначенных для постепенного повышения уверенности. Этот курс предназначен для инженеров программного обеспечения, инженеров данных и разработчиков Kotlin, которые только начинают работать с Apache Beam и хотят получить практический, текстовый путь к мастерству. Не требуется предыдущий опыт работы с Azure Beam. Начните читать сегодня, чтобы построить свои навыки инженерии данных с Kotlin и Apache beam.