معالجة البيانات بدون خادم باستخدم Dataflow و Beam

تتطلب هندسة البيانات الحديثة القدرة على معالجة مجموعات البيانات الضخمة بكفاءة دون إدارة بنية تحتية معقدة. يوجهك هذا الدورة النصية خلال المفاهيم الأساسية لمعالجة البيانات بدون خادم باستخدام Dataflow و Apache Beam SDK. ستبدأ بالمصطلحات الأساسية، وفهم كيفية هيكلة أنابيب البيانات، قبل الانتقال إلى التطوير العملي للأنابيب. بحلول نهاية هذه الدورة، ستكون قادرًا على تصميم وكتابة وتشغيل أنابيب البيانات الخاصة بك بدون خادم لكل من البيانات الدفعية (batch) والتدفقية (streaming). ما ستتعلمه: - فهم مفاهيم Beam الأساسية بما في ذلك PCollections، والتأثيرات (transforms)، ومشغلات الأنابيب (pipeline runners)، ونموذج التنفيذ؛ - كتابة أنابيب معالجة بيانات مخصصة باستخدام Beam SDK لتنظيف البيانات وتحويلها وتجميعها؛ - تهيئة الأنابيب للتعامل مع كل من ملفات الدفعات التاريخية ومصادر بيانات التدفق في الوقت الفعلي؛ - تطبيق أنماط الأنابيب الحديثة بما في ذلك Windowing و Triggers و Side inputs؛ - نشر الأنابيب على Dataflow للاستفادة من التوسع التلقائي والتنفيذ بدون خادم. تبدأ الدورة بالأساسيات النظرية الضرورية، حيث تشرح كيفية عمل المعالجة الموزعة، ثم توجهك خطوة بخطوة خلال كتابة رمز الأنبوب، ومعالجة الأخطاء، وتحسين الأداء. تم تصميم هذه الدورة للمبتدئين في هندسة البيانات، ومطوري البرامج، ومحللي البيانات الذين يرغبون في تعلم معالجة البيانات بدون خادم. المعرفة الأساسية بالبرمجة بلغة Python أو Java مفيدة، ولكن لا تتطلب أي خبرة سابقة في هندسة بيانات السحابة. ابدأ القراءة لإتقان أنابيب البيانات بدون خادم اليوم.