KafkaとSparkを使用したストリーミングデータパイプラインの構築

今日のデータ駆動型の世界では、データが到着した瞬間に処理することが、タイムリーな意思決定を行う上で極めて重要です。このコースでは、業界標準のツールを使用して、堅牢なリアルタイムデータストリーミングパイプラインを構築する基礎を案内します。 基本的なデータの概念の理解から、完全に機能するストリーミングパイプラインの構築へと移行します。Kafkaのメッセージブローカーとしての能力と、Spark Structured Streamingの分析力を組み合わせることで、データの継続的なストリームを効率的かつ信頼性の高く取り込み、処理し、保存する方法を学びます。 学習内容: - リアルタイムデータストリームおよびイベント駆動型システムの基本アーキテクチャを理解する。 - 高スループットのデータフィードを管理するために、Kafkaのトピック、プロデューサー、コンシューマーを設定する。 - Kafka Connectを適用して、ウェブログや外部データソースをシームレスに取り込む。 - Spark Structured Streamingアプリケーションを構築し、ライブデータをその場で処理および変換する。 - KafkaとSparkを統合して、増分データ処理とステートフルな変換を処理する。 - 処理されたストリームをDelta Lakeや分散ファイルシステムなどの最新のストレージレイヤーに書き込む。 コースは、コアの定義と、最新のコンテナワークフローを使用したローカル環境のセットアップから始まります。その後、基本的なKafkaメッセージングから高度なSpark統合へと段階的に進み、解説と明確なコードスニペットを通じたエンドツーエンドのパイプライン構築で締めくくられます。 データエンジニアや開発者を目指す方向けに設計されており、事前のストリーミング経験は必要ありません。実用的な設定や構造化されたコードに進む前に、絶対的な基礎と主要な用語から始めます。 今すぐ読み始めて、現代のリアルタイムデータエンジニアリングを支えるコアテクノロジーをマスターしましょう。