Teknik Data dengan Apache Beam dan Dataflow: Membuat Saluran Batch

Rekayasa data modern memerlukan pipeline yang dapat disesuaikan dan dapat diandalkan untuk memproses dataset yang besar. Apache Beam menawarkan model yang kuat dan terpadu untuk mendefinisikan pipeline data yang dapat dijalankan dengan mudah pada layanan cloud yang dikelola seperti Dataflow. Kursus tertulis ini memandu Anda melalui konsep dasar pemrosesan data, membawa Anda dari pengembangan pipa lokal ke deployment skala awan. Anda akan belajar bagaimana menulis kode pipa yang bersih dan dapat dipertahankan menggunakan Apache Beam Python SDK, menerapkan transformasi, dan mengorganisir aliran kerja data Anda di lingkungan awan. Apa yang akan kau pelajari: - Mengerti konsep inti pipa data, termasuk PCollections, Transforms, Pipeline Runners, dan I / O connectors. - Konfigurasikan lingkungan pengembangan Python lokal menggunakan lingkungan virtual modern dan dependensi SDK. - Terapkan transformasi untuk mengekstrak, membersihkan, dan memformat data menggunakan fungsi built-in Apache Beam. - Implementasi Python jenis petunjuk untuk memastikan keselamatan pipa, kode bacaan, dan skema data yang kuat. - Deploy pipeline pengolahan batch ke Dataflow di awan untuk manajemen penuh, eksekusi autoscaling. - Uji dan debug kode pipa Anda secara lokal sebelum memindahkan ke lingkungan produksi. Anda akan mulai dengan menguasai istilah dasar dan eksekusi pipa lokal, secara bertahap bergerak menuju logika transformasi canggih. Akhirnya, Anda akan menjelajahi integrasi awan, belajar bagaimana mengkonfigurasi izin dan menerapkan kode Anda untuk berjalan pada infrastruktur awan yang dikelola. Kursus ini dirancang untuk insinyur data bercita-cita, pengembang perangkat lunak, dan analis data yang memiliki pemahaman dasar Python dan ingin belajar pemrosesan data cloud-native. Tidak ada pengalaman sebelumnya dengan Apache Beam atau pipa data awan yang diperlukan. Mulai membaca hari ini untuk membangun pipa data skala pertama Anda dari nol.