SparkとPythonによるデータサイエンス

データが増大するにつれて、従来の分析ツールでは、最新のデータサイエンスの処理要求に対応するのが困難になることがよくあります。大規模な情報を扱うことを目指す専門家にとって、分散コンピューティングへの移行は不可欠です。このコースでは、基本的なデータ操作から、SparkとPythonを使用して堅牢な分散パイプラインを構築するまでの明確な道筋を提供します。 ローカルのデータスクリプトから、数十億行を処理できるスケーラブルなアプリケーションへと移行します。このコースを修了するまでに、業界標準のツールと手法を使用して、大規模データを変換、分析、モデル化できるようになります。 学習内容: - Sparkのコアアーキテクチャと分散コンピューティングの基礎を理解する - 効率的な分析のためにDataFramesとSpark SQLを使用して大規模データセットを処理する - MLlibを使用して機械学習アルゴリズムとレコメンデーションシステムを実装する - RDDs、map、filter、reduce操作を使用して複雑なデータ変換を実践する - リアルタイム処理のためのstructured streamingを含む最新のデータパターンを適用する - グラフ処理とGraphFramesを使用して相互接続されたデータを分析する - Spark環境を設定し、本番環境に対応したコードのパフォーマンスを最適化する このコースは、実践的なデータ操作に進む前に、不可欠な専門用語と基礎概念から始まります。基本的なデータクレンジングから高度な機械学習ワークフローやストリーム処理まで、すべてを網羅する文章による説明とコード例を通じて学習を進めます。 このコースは、ビッグデータ分野の初心者、および分析能力を拡張したいPythonユーザー向けに設計されています。Sparkや分散システムの事前の経験は必要ありません。 今すぐ読み始めて、最新のデータサイエンスを支えるツールをマスターしましょう。