BigQuery と Dataproc を使用したバッチデータパイプラインの構築

現代の組織は、重要なビジネス上の意思決定を行うために、安定した信頼性の高いデータフローに依存しています。バッチデータを効率的に抽出、変換、ロード（ETL）する方法を理解することは、データプロフェッショナルを目指すすべての人にとって基礎となるスキルです。 このテキストベースのコースでは、データ処理の中核となるパラダイムを順を追って説明し、プロジェクトに最適なパイプラインアーキテクチャを選択して実装できるように支援します。基本的なデータの概念の理解から始めて、業界標準のクラウド技術を使用した本番環境に対応したバッチパイプラインの設計へとステップアップします。 学習内容： * ETL、ELT、EL パラダイムの根本的な違いを理解し、データに最適なアプローチを選択する。 * BigQuery を使用してスケーラブルなデータウェアハウスを構築し、分析クエリを実行する。 * 管理された Dataproc クラスタおよびサーバーレス環境で Spark ジョブを実行し、大規模なデータセットを処理する。 * Cloud Data Fusion を使用して、コード不要のビジュアルなパイプラインワークフローを設計する。 * 現代的なデータガバナンスとスキーマ管理の実践を適用し、パイプラインの信頼性を確保する。 パイプラインの設計に進む前に、まずデータエンジニアリングのコア概念と用語から始めます。構造化された解説と実践的な SQL および Spark コードのシナリオを通じて、多様なデータツールを連携させて一貫性のあるバッチ処理システムを構築する方法を探求します。 本コースは、初心者、データエンジニアを目指す方、クラウドベースのデータワークフローへの移行を検討しているデータベース管理者を対象としています。事前のクラウドエンジニアリングの経験は必要ありません。 信頼性の高い自動化されたデータパイプラインの構築を今すぐ始めましょう。