Aprendizagem automática com PySpark: Ciência de dados distribuídos em escala

À medida que os conjuntos de dados crescem demais para uma única máquina, as ferramentas tradicionais de ciência de dados atingem seus limites. Dominar o machine learning distribuído permite treinar modelos em conjuntos de dados massivos de forma eficiente. Este curso baseado em texto orienta você desde os conceitos fundamentais de big data até a criação e a implantação de pipelines de machine learning escaláveis. Você aprenderá a processar dados em grande escala e executar algoritmos de aprendizado de máquina em clusters usando o PySpark. O que você vai aprender: - Entenda os conceitos básicos de computação distribuída, arquitetura Spark e PySpark DataFrames. - Prepare e limpe conjuntos de dados em grande escala usando as ferramentas de engenharia de recursos do PySpark. - Construa e treine modelos de aprendizado de máquina supervisionados para classificação e regressão. - Implementar técnicas de aprendizagem não supervisionadas, incluindo algoritmos de agrupamento e recomendação. - Construa pipelines de aprendizado de máquina de ponta a ponta para automatizar a preparação de dados e o treinamento de modelos. - Integre fluxos de trabalho MLflow modernos para rastrear experimentos e gerenciar versões de modelos dentro do pipeline do Spark. Você começará com a terminologia-chave, conceitos básicos de arquiteturas distribuídas e definições fundamentais antes de passar para os passos práticos do código. O material progride logicamente da ingestão e limpeza de dados para a avaliação de modelos e gerenciamento de ciclo de vida. Projetado para cientistas de dados iniciantes, analistas e desenvolvedores que desejam fazer a transição para big data, este curso não requer experiência prévia com sistemas distribuídos. Comece a ler hoje para desbloquear o poder do aprendizado de máquina distribuído com o PySpark.