ハンズオン PySpark: 実践的なデータエンジニアリングと機械学習

データセットが成長するにつれて、従来のデータ処理ツールはその規模に対応するのが難しくなっています。PySpark を学ぶことで、Python を使用した分散コンピューティングの力を活用できるようになり、データエンジニアリングとデータサイエンスに新たな可能性が開かれます。 このテキストベースのコースでは、初心者から PySpark コードを自信を持って書けるようになるまでを導きます。コアとなる分散コンピューティングの概念から始め、Resilient Distributed Datasets (RDDs) から最新の DataFrame API への移行を学び、大規模なデータセットに機械学習アルゴリズムを適用する方法を習得します。 学習内容: - Spark のコアアーキテクチャと、PySpark が分散データ処理をどのように調整するかを理解する - 低レベルの RDDs から高度に最適化された Spark DataFrame API への移行を習得する - 型ヒントなどの最新の Python プラクティスを使用して、クリーンで保守しやすい PySpark コードを作成する - クラスタリングアルゴリズムを含む機械学習モデルを構築および評価するために Spark MLlib を適用する - 組み込みの Spark 関数と SQL クエリを使用して、大規模なデータセットを処理、フィルタリング、およびクリーンアップする 実践的なデータ操作に進む前に、基本的な用語とローカル環境のセットアップから始めます。構造化された文章による説明とコードのウォークスルーを通じて、基本的なデータロードから機械学習ワークフローの構築へと進みます。 このコースは、分散コンピューティングに不慣れな意欲的なデータエンジニア、データサイエンティスト、アナリスト向けに設計されています。Spark の事前の経験は必要ありませんが、Python の基本的な理解があると役立ちます。 ビッグデータへの旅を始め、今日から効率的な PySpark コードを書き始めましょう。