Apache Spark Structured Streaming ve Scala Temelleri

Büyük miktarda veriyi gerçek zamanlı olarak işlemeniz ve analiz etmeniz mi gerekiyor? Apache Spark Structured Streaming, modern veri mühendisliği zorlukları için güçlü, hataya dayanıklı bir çözüm sunar. Bu kurs, Scala kullanarak akış işlemenin temel kavramlarında uzmanlaşmanız için size rehberlik eder ve durumu (state), pencerelemeyi (windowing) ve karmaşık birleştirmeleri (complex joins) güvenilir bir şekilde yöneten üretime hazır akış uygulamaları tasarlamanızı, uygulamanızı ve dağıtmanızı sağlar. Ne öğreneceksiniz: * Kaynaklar (sources), havuzlar (sinks), tetikleyiciler (triggers) ve yürütme modları (execution modes) dahil olmak üzere Structured Streaming'in temel mimarisini anlayın. * Veri akışlarını etkili bir şekilde toplamak ve analiz etmek için gelişmiş zamana dayalı pencereleme tekniklerini uygulayın. * Hata toleransı ve kurtarma için durum yönetimini (state management) ve güvenilir kontrol noktası (checkpointing) stratejilerini yapılandırın. * Gerçek zamanlı veri akışını zenginleştirmek için karmaşık akıştan akışa ve akıştan statiğe birleştirmeleri uygulayın. * Akış uygulamalarını veritabanları ve mesaj kuyrukları gibi harici veri sistemleriyle entegre etme pratiği yapın. * Operasyonel istikrar için temel izleme ve günlükleme standartlarına odaklanarak üretime hazır işlem hattı (pipeline) desenleri tasarlayın. Durum yönetimi ve pencereleme gibi temel özelliklerin pratik yapılandırmasına ve uygulanmasına geçmeden önce Spark akış işlemenin temel kavramları ve terminolojisi ile başlıyoruz. Kurs, uzun soluklu akış işlerini dağıtma ve sürdürme için en iyi uygulamalarla sona erer. Bu temel kurs, Apache Spark ve Scala kullanarak gerçek zamanlı veri uygulamaları oluşturmaya başlamak isteyen başlangıç seviyesindeki veri mühendisleri, veri bilimcileri ve geliştiriciler için tasarlanmıştır. Önceden akış deneyimi gerekmemektedir. Gerçek zamanlı veri uzmanlığınızı bugün oluşturmaya başlayın.