AWS Data Pipelines: Glue ve Lambda Entegrasyonu Başlangıçlar için

Günümüzün bulut tabanlı dünyasında, manuel veri işleme iş zekası ve uygulama geliştirmesini yavaşlatan bir boğazdır. Sunucusuz bulut hizmetlerini kullanarak veri boru hatlarını otomatikleştirmek, işletim maliyetlerini düşük tutarak kolayca ölçeklendirmenizi sağlar. Bu kurs, AWS Glue ve AWS Lambda kullanarak otomatik veri boru hatlarını nasıl tasarlayacağınızı, yazacağınızı ve dağıtacağınızı öğretiyor. Temel veri kataloglamasını anlamaktan karmaşık, olay odaklı Çıkarma, Dönüşüm, Yükleme (ETL) çalışma akışlarını düzenlemeye geçiş yapacaksınız. Ne öğreneceksin: - Sunucusuz mimariler ve veri gölleri de dahil olmak üzere temel bulut veri otomasyon kavramlarını anlayın. - AWS Glue Data Catalogs ve Crawlers'ı veri kümelerini otomatik olarak keşfetmek ve şema-haritalamak için ayarlayın. - Yeni dosyalar geldiğinde veri işleme olaylarını otomatik olarak tetiklemek için AWS Lambda fonksiyonlarını yazın. - AWS Glue kullanarak verileri temizlemek, dönüştürmek ve yüklemek için sunucusuz ETL görevleri oluşturun. - Lambda katmanları ve bağımlılıkları temiz bir şekilde paketlemek için modern paketleme uygulamalarını uygulayın. - Veri boru hatlarını tutarlı bir şekilde dağıtmak için temel altyapı-kod olarak kavramları uygulayın. Glue ve Lambda'yı konfigüre etmek için adım adım yazılı kılavuzlara geçmeden önce ETL ve sunucusuz bilgisayarın temel tanımlarıyla başlayabilirsiniz. Açık kod parçaları ve yapılmış yazılı açıklamalar yoluyla, bu hizmetleri birleşik, olay odaklı veri boru hattına nasıl bağlayacağınızı öğreneceksiniz. Bu kurs, veri mühendislerine, bulut tutkunlarına ve sunucusuz veri otomasyonunu öğrenmek isteyen geliştiricilere yönelik tasarlanmıştır. Önceden bulut mühendisliği deneyimi gerekmez, ancak Python'un temel anlayışı yararlıdır. Otomatik bulut veri boru hatlarının gücünü açmak için bugün okumaya başlayın.