Основы инженерии больших данных с Hadoop и Spark

По мере роста объема глобальных данных организации полагаются на надежные каналы передачи данных для обработки и анализа информации в масштабе. Понимание того, как управлять этим массивным притоком данных, является одним из самых ценных навыков в современных технологиях.\n\nЭтот текстовый курс поможет вам освоить основы архитектуры больших данных и построить свои первые масштабируемые конвейеры обработки. Вы получите четкое концептуальное понимание распределенных вычислений и научитесь писать код для обработки, запросов и потоков данных с использованием стандартных инструментов.\n\nЧто вы узнаете:\n- Понимание основных концепций больших данных, распределенного хранения и основной архитектуры Hadoop\n- Написать Scala и Spark программы для очистки, - Настройка конвейеров Kafka для приема и потокового передачи данных в реальном времени\n- Исследование современных архитектур данных и структурированных потоковых концепций для современной инженерии данных\n - Эффективный запрос распределенных данных с помощью Spark SQL и управление ресурсами кластера\n упражнения и просмотры кода, предназначенные для локального выполнения\n\nВы начнете с основных определений и истории распределенных систем, прежде чем перейти шаг за шагом через Hadoop, Spark, Scala и Kafka. Каждый модуль сочетает в себе четкие письменные объяснения с практическими фрагментами кода, которые вы можете читать, анализировать и адаптировать.\n\nЭтот курс предназначен для начинающих инженеров данных, аналитиков и разработчиков программного обеспечения, которые впервые сталкиваются с большими данными. Не требуется предыдущий опыт работы с распределенными системами, хотя полезно знакомиться с концепциями программирования.\n\nНачните читать сегодня, чтобы построить свои фундаментальные знания по инженерии больших данных.