تصميم خوارزميات فعالة من حيث الإدخال/الإخراج للبيانات واسعة النطاق

مع نمو مجموعات البيانات بشكل كبير، تكافح الخوارزميات التقليدية التي تعمل في الذاكرة عندما لا تعود البيانات تتسع في ذاكرة الوصول العشوائي (RAM). لبناء أنظمة عالية الأداء، يجب على مهندسي البرمجيات ومتخصصي البيانات فهم كيفية تقليل الوصول البطيء للتخزين وتحسين نقل البيانات. يرشدك هذا المساق عبر مبادئ الخوارزميات الخارجية الذاكرة والخوارزميات غير المبالية بالتخزين المؤقت. ستنتقل من كتابة الخوارزميات القياسية إلى تصميم أنظمة تحسن نقل البيانات عبر التسلسل الهرمي للذاكرة الحديثة، مما يحسن الأداء بشكل كبير لقواعد البيانات واسعة النطاق وأنظمة الملفات وخطوط أنابيب البيانات. ما ستتعلمه: - فهم الحدود الأساسية للتسلسل الهرمي للذاكرة، بما في ذلك الاختلافات بين ذاكرة الوصول العشوائي (RAM) و SSDs وتخزين NVMe الحديث. - تحليل الخوارزميات باستخدام نموذج الذاكرة الخارجية لقياس وتقليل عمليات الإدخال/الإخراج على القرص. - تصميم هياكل بيانات خارجية الذاكرة أساسية، مثل B-trees ومجمعات المخزن المؤقت، لاسترجاع البيانات بكفاءة. - تطبيق مبادئ التصميم غير المبالية بالتخزين المؤقت لكتابة خوارزميات تعمل بكفاءة عبر أحجام التخزين المؤقت المختلفة دون ضبط يدوي. - مقارنة نماذج التخزين الحديثة، بما في ذلك أشجار الدمج المنظمة حسب السجل (LSM) وأشجار B التقليدية، المستخدمة في محركات قواعد البيانات الحديثة. ستبدأ بالمفاهيم الأساسية للتسلسل الهرمي للذاكرة وتكاليف الإدخال/الإخراج قبل الانتقال إلى هياكل بيانات الذاكرة الخارجية الأساسية، وتقنيات الفرز الخارجية، وهياكل تخزين قواعد البيانات الحديثة. من خلال الشروحات المكتوبة التفصيلية والشرح الخوارزمي، ستتعلم التفكير في الحوسبة من حيث نقل البيانات بدلاً من مجرد دورات وحدة المعالجة المركزية (CPU). تم تصميم هذا المساق لمطوري البرمجيات وطلاب علوم الكمبيوتر ومهندسي البيانات الذين يرغبون في فهم معالجة البيانات عالية الأداء. لا يلزم وجود خبرة سابقة في خوارزميات الذاكرة الخارجية، حيث نبدأ بالأساسيات المطلقة. ابدأ بإتقان الخوارزميات التي تشغل أنظمة البيانات الحديثة واسعة النطاق اليوم.