Инженерная разработка функций с помощью PySpark для машинного обучения

Наборы данных в реальном мире редко бывают чистыми или готовыми для алгоритмов машинного обучения, особенно при работе в масштабе.Обобщение инженерии особенностей с помощью PySpark позволяет преобразовывать массивные, беспорядочные данные в высококачественные входные данные для моделей предсказания. В этом курсе вы научитесь работать с большими данными, а не с небольшими, отобранными наборами данных. Вы узнаете, как очистить, структурировать и разработать функции с помощью PySpark, чтобы ваши модели машинного обучения имели лучшие данные для обучения. Что вы узнаете: - Понять основные концепции распределенных вычислений и датафреймов PySpark. - Очистка и предварительная обработка крупномасштабных наборов данных путем обработки недостающих значений и отклонений. - Преобразование категориальных и числовых данных с использованием собственных преобразователей функций PySpark. - Создание дополнительных функций с использованием оконных функций и математических преобразований. - Собирать особенности в векторы, готовые для конвейеров машинного обучения. - Оптимизация операций PySpark для обеспечения эффективной обработки данных в масштабе. Вы начнете с освоения основных операций PySpark и методов очистки данных, а затем перейдете к продвинутым преобразованиям признаков и созданию структурированных конвейеров предварительной обработки. Этот курс предназначен для начинающих ученых данных, аналитиков данных и разработчиков, которые хотят узнать, как подготовить большие наборы данных для машинного обучения. Предыдущий опыт работы с PySpark не требуется, хотя полезно иметь базовое понимание Python. Начните читать сегодня, чтобы раскрыть силу больших данных.