Construindo pipelines de machine learning escaláveis com PySpark e MLlib

O manuseio de conjuntos de dados massivos requer mais do que bibliotecas padrão de máquina única; exige poder de computação distribuído. Este curso apresenta a você a escalabilidade de seus fluxos de trabalho de machine learning usando o PySpark e sua biblioteca de machine Learning, MLlib. Você fará a transição de escrever scripts de dados locais para projetar pipelines de machine learning robustos e distribuídos, capazes de processar conjuntos de datos massivos. Através de explicações claras e exercícios práticos baseados em texto, você obterá as habilidades para limpar dados, treinar modelos, ajustar hiperparâmetros e exportar seus fluxos de trabalho para a nuvem. O que você vai aprender: * Entenda os conceitos básicos de computação distribuída, sessões Spark e PySpark DataFrames. * Limpar e transformar dados em grande escala usando ferramentas de engenharia de recursos do PySpark, incluindo montadores vetoriais e indexadores de string. * Construir e treinar modelos de aprendizado de máquina usando algoritmos MLlib para classificação e regressão. * Implementar validação cruzada e ajuste de hiperparâmetros para otimizar o desempenho do modelo em sistemas distribuídos. * Salve e carregue modelos treinados em sistemas de armazenamento em nuvem, como o AWS S3, para implantação em produção. * Aplique práticas PySpark modernas, incluindo dicas de tipo e operações DataFrame estruturadas, para código limpo e mantível. O curso começa com conceitos fundamentais de computação distribuída e sintaxe PySpark antes de guiá-lo passo a passo através da preparação de dados, treinamento de modelos e pipelines de implantação em nuvem. Ele foi projetado para iniciantes em engenharia de computação distribuída e machine learning, sem necessidade de experiência prévia com o Spark. Comece a ler hoje para dimensionar seus modelos de machine learning para lidar com qualquer tamanho de conjunto de dados.