بناء مسارات بيانات الدُفعات باستخدام BigQuery و Dataproc

تعتمد المؤسسات الحديثة على تدفقات بيانات ثابتة وموثوقة لاتخاذ قرارات عمل حاسمة. يعد فهم كيفية استخراج وتحويل وتحميل بيانات الدُفعات بكفاءة مهارة أساسية لأي محترف بيانات طموح. يرشدك هذا المساق النصي خلال نماذج معالجة البيانات الأساسية، مما يساعدك على اختيار وتنفيذ بنية المسار المناسبة لمشاريعك. ستنتقل من فهم مفاهيم البيانات الأساسية إلى تصميم مسارات دفعات جاهزة للإنتاج باستخدام تقنيات سحابية قياسية في الصناعة. ما ستتعلمه: * فهم الاختلافات الأساسية بين نماذج ETL و ELT و EL لاختيار النهج الأفضل لبياناتك. * بناء مستودعات بيانات قابلة للتطوير وتشغيل استعلامات تحليلية باستخدام BigQuery. * معالجة مجموعات البيانات واسعة النطاق عن طريق تشغيل وظائف Spark على مجموعات Dataproc المُدارة وبيئات بدون خادم. * تصميم سير عمل مسارات مرئية وخالية من التعليمات البرمجية باستخدام Cloud Data Fusion. * تطبيق ممارسات حديثة لحوكمة البيانات وإدارة المخططات لضمان موثوقية المسار. ستبدأ بمفاهيم ومصطلحات هندسة البيانات الأساسية قبل الانتقال إلى تصميم المسار. من خلال الشروحات النصية المنظمة وسيناريوهات تعليمات SQL و Spark البرمجية العملية، ستستكشف كيفية تنسيق أدوات بيانات متنوعة لبناء أنظمة معالجة دفعات متماسكة. تم تصميم هذا المساق للمبتدئين، ومهندسي البيانات الطموحين، ومديري قواعد البيانات الذين يتطلعون إلى الانتقال إلى تدفقات بيانات مستندة إلى السحابة. لا يلزم وجود خبرة سابقة في هندسة السحابة. ابدأ في بناء مسارات بيانات موثوقة وآلية اليوم.