Создание потоковых конвейеров данных с помощью Kafka и Spark

В современном мире, основанном на данных, обработка данных по мере их поступления имеет решающее значение для принятия своевременных решений. Этот курс поможет вам освоить основы создания надежных потоковых конвейеров данных в реальном времени с использованием стандартных инструментов. Вы пройдете путь от понимания основных концепций данных до создания полностью функциональных потоковых конвейеров. Объединив мощность Kafka по обработке сообщений с аналитическими возможностями Spark Structured Streaming, вы научитесь эффективно и надежно принимать, обрабатывать и хранить непрерывные потоки данных. Что вы узнаете: - Понять основополагающую архитектуру потоков данных в реальном времени и систем, управляемых событиями. - Настройте темы, производителей и потребителей Kafka для управления высокопроизводительными потоками данных. - Примените Kafka Connect для бесперебойного приема веб-логов и внешних источников данных. - Создание приложений Spark Structured Streaming для обработки и преобразования данных в реальном времени. - Интегрируйте Kafka с Spark для обработки inkremental обработки данных и stateful преобразований. - Запись обработанных потоков в современные слои хранения, такие как Delta Lake и распределенные файловые системы. Курс начинается с основных определений и настройки локальной среды с использованием современных рабочих процессов контейнеров. Затем вы будете продвигаться шаг за шагом от базового обмена сообщениями Kafka до продвинутой интеграции Spark, кульминацией которой станет построение сквозного конвейера с помощью письменных объяснений и ясных фрагментов кода. Этот курс предназначен для начинающих инженеров и разработчиков данных, и для его прохождения не требуется предыдущий опыт работы со стримингом. Мы начнем с основ и ключевой терминологии, а затем перейдем к практической конфигурации и структурированному коду. Начните читать сегодня, чтобы овладеть основными технологиями, обеспечивающими современную инженерию данных в реальном времени.