PySpark MLlib: Construcción de tuberías por lotes para modelos predictivos

A medida que los volúmenes de datos crecen, las herramientas estándar de aprendizaje automático luchan por procesar conjuntos de datos que exceden la memoria local.Pyspark MLlib proporciona un marco potente para construir tuberías de aprendizajes automáticos escalables y distribuidas que manejan datos a gran escala con facilidad. En este curso escrito, pasará de los conceptos fundamentales de computación distribuida a la implementación de tuberías de predicción por lotes robustas, aprenderá a estructurar transformaciones de datos, entrenar modelos de aprendizaje automático y guardar predicciones de manera eficiente en formatos modernos de almacenamiento en la nube. Lo que aprenderás: - Comprenda la arquitectura central de PySpark, incluidos los DataFrames distribuidos y los planes de ejecución. - Limpie y prepare conjuntos de datos a gran escala utilizando los transformadores y estimadores de ingeniería de características de PySpark. - Construya y encadene tuberías de aprendizaje automático de extremo a extremo utilizando PySpark MLlib. - Entrenar, evaluar y ajustar modelos predictivos para tareas de clasificación y regresión. - Exportar predicciones por lotes y guardar modelos utilizando formatos de almacenamiento modernos como Delta Lake y Parquet. - Aplique conceptos básicos de seguimiento de tuberías para monitorear los parámetros y métricas del modelo. Comenzará con la terminología básica de los sistemas distribuidos y la API de PySpark antes de pasar paso a paso a través de la ingestión de datos, la ingeniería de características, el entrenamiento de modelos y la ejecución por lotes.El curso concluye con estrategias prácticas para implementar estas tuberías en entornos de almacenamiento en la nube. Este curso está diseñado para aspirantes a científicos de datos, ingenieros de datos y analistas que son nuevos en el aprendizaje automático distribuido.Se recomienda una familiaridad básica con Python, pero no se requiere experiencia previa con PySpark o tecnologías de big data. Comience a leer hoy mismo para dominar los fundamentos de las canalizaciones de aprendizaje automático escalables y llevar sus habilidades de ciencia de datos al nivel empresarial.