Dataflow ve Beam ile Serverless Veri İşleme

Modern veri mühendisliği, karmaşık altyapıları yönetmek zorunda kalmadan devasa veri kümelerini verimli bir şekilde işleme yeteneği gerektirir. Metin tabanlı bu kurs, Dataflow ve Apache Beam SDK kullanarak serverless veri işlemenin temel kavramlarında size rehberlik eder. Pratik boru hattı geliştirmeye geçmeden önce boru hatlarının nasıl yapılandırıldığını anlayarak temel terminoloji ile başlayacaksınız. Bu kursun sonunda, hem batch hem de streaming verileri için kendi serverless veri boru hatlarınızı tasarlayabilecek, yazabilecek ve çalıştırabileceksiniz. Öğrenecekleriniz: PCollections, transforms, pipeline runners ve yürütme modeli dahil olmak üzere temel Beam kavramlarını anlamak; Verileri temizlemek, dönüştürmek ve toplamak için Beam SDK kullanarak özel veri işleme boru hatları yazmak; Boru hatlarını hem geçmiş batch dosyalarını hem de gerçek zamanlı streaming veri kaynaklarını işleyecek şekilde yapılandırmak; Windowing, triggers ve side inputs dahil olmak üzere modern boru hattı desenlerini uygulamak; Otomatik ölçeklendirme ve serverless yürütmeden yararlanmak için boru hatlarını Dataflow'a dağıtmak. Kurs, dağıtık işlemenin nasıl çalıştığını açıklayan temel teorik esaslarla başlar ve ardından boru hattı kodu yazma, hataları yönetme ve performansı optimize etme adımlarında size adım adım rehberlik eder. Bu kurs, veri mühendisliğine yeni başlayanlar, yazılım geliştiriciler ve serverless veri işlemeyi öğrenmek isteyen veri analistleri için tasarlanmıştır. Python veya Java dilinde temel programlama bilgisi yararlıdır, ancak önceden bulut veri mühendisliği deneyimi gerekli değildir. Bugün serverless veri boru hatlarında uzmanlaşmak için okumaya başlayın.