هندسة البيانات التطبيقية: بناء خطوط أنابيب البيانات باستخدام Spark و Kafka و Airflow

تولد الشركات الحديثة كميات هائلة من البيانات يوميًا، ولكن هذه البيانات لا قيمة لها بدون خطوط أنابيب قوية لمعالجتها وتنظيفها وتخزينها. يرشدك هذا المساق النصي فقط عبر المفاهيم الأساسية لهندسة البيانات، وينقلك من البيانات الخام إلى خطوط أنابيب جاهزة للإنتاج. ستنتقل من مبتدئ إلى ممارس واثق قادر على تصميم وأتمتة سير عمل معالجة الدفعات (batch) والتدفق (stream). من خلال الشروحات المكتوبة الواضحة والتطبيقات العملية للتعليمات البرمجية، ستتقن الأدوات الأساسية التي تستخدمها فرق البيانات الحديثة. ما ستتعلمه: فهم البنية الأساسية لمنصات البيانات الحديثة وأنظمة التخزين؛ بناء خطوط أنابيب ETL مؤتمتة باستخدام Airflow لجدولة ومراقبة سير عمل البيانات؛ معالجة مجموعات البيانات الكبيرة بكفاءة باستخدام PySpark و Pandas؛ تكوين خطوط أنابيب بيانات التدفق في الوقت الفعلي باستخدام Kafka لمعالجة البيانات الفورية؛ تعبئة تطبيقات البيانات الخاصة بك باستخدام Docker لضمان بيئات متسقة؛ تنظيف وتحليل والتحقق من صحة البيانات الواردة للحفاظ على معايير جودة البيانات العالية. يبدأ المساق بتعريفات تأسيسية لهندسة البيانات وقواعد البيانات والتعبئة (containerization). ستتقدم بعد ذلك خطوة بخطوة عبر معالجة الدفعات (batch processing) ومعالجة التدفق (stream processing) وتنسيق خطوط الأنابيب (pipeline orchestration) باستخدام سيناريوهات واقعية. تم تصميم هذا المساق لمهندسي البيانات الطموحين ومطوري البرمجيات ومحللي البيانات الذين لديهم فهم أساسي لـ Python. لا يلزم وجود خبرة سابقة بأدوات البيانات الضخمة أو DevOps. ابدأ القراءة اليوم لبناء أول خط أنابيب بيانات موثوق به.