Масштабируемая обработка данных с помощью Scala и Spark

Современные данные требуют масштабируемых решений, с которыми традиционные инструменты одной машины не могут справиться. Этот текстовый курс познакомит вас с мощным сочетанием Scala и Spark, отраслевых стандартных технологий для распределенной обработки и анализа данных. Прочитав наши структурированные объяснения и работая с практическими примерами кода, вы превратитесь из новичка в уверенного практикующего, способного писать эффективные распределенные приложения. Вы узнаете, как принципы функционального программирования делают манипулирование данными более безопасным и интуитивно понятным, и как Spark координирует кластерные вычисления для бесперебойного анализа массивных наборов данных. Что вы узнаете: - Понять основные понятия функционального программирования в Scala, включая классы, черты и соответствие шаблонам. - Обрабатывать большие наборы данных с помощью Spark DataFrames, Spark SQL и устойчивых распределенных наборов данных (RDD). - Создание масштабируемых конвейеров данных, которые преобразуют, фильтруют и агрегируют структурированные и неструктурированные данные. - Применять алгоритмы распределенного машинного обучения для рекомендаций и анализа графов с использованием родных библиотек Spark. - Внедрение современных структурированных потоковых моделей для обработки потоков данных в реальном времени по мере их поступления. - Практикуем написание чистого, современного кода Scala, адаптированного для распределенных вычислительных сред. Курс начинается с основных концепций программирования в Scala, а затем вы пройдете через архитектуру Spark, преобразования данных и приложения машинного обучения. Вы пройдете письменные объяснения, концептуальные разбивки и упражнения на основе кода, предназначенные для укрепления вашего понимания распределенных систем. Этот курс предназначен для начинающих инженеров данных, аналитиков и разработчиков программного обеспечения, которые только начинают работать со Scala и Spark. Не требуется предыдущий опыт работы с функциональным программированием или инструментами больших данных. Начните читать сегодня, чтобы раскрыть потенциал крупномасштабной распределенной обработки данных.