Entwicklung von I/O-effizienten Algorithmen für große Datenmengen

Um Hochleistungssysteme zu entwickeln, müssen Software-Ingenieure und Datenspezialisten verstehen, wie sich langsame Speicherzugriffe minimieren und Datenbewegungen optimieren lassen, und sie müssen in der Lage sein, die Daten in einem schnellen, skalierbaren und skalierfähigen Datenspeicher zu speichern. Dieser Kurs führt Sie durch die Prinzipien des externen Speichers und der Cache-oblivious-Algorithmen.Sie werden vom Schreiben von Standardalgorith men zum Entwerfen von Systemen übergehen, die den Datentransfer über die moderne Speicherhierarchie optimieren und die Leistung für große Datenbanken, Dateisysteme und Datenpipelines drastisch verbessern. Was Sie lernen werden: - Verstehen Sie die grundlegenden Grenzen der Speicherhierarchie, einschließlich der Unterschiede zwischen RAM, SSDs und modernem NVMe-Speicher. - Analysieren Sie Algorithmen mit dem externen Speichermodell, um die E / A-Vorgänge der Festplatte zu messen und zu minimieren. - Entwerfen Sie grundlegende Datenstrukturen für den externen Speicher, wie B-Bäume und Pufferpools, für einen effizienten Datenabruf. - Wenden Sie Cache-vergeßliche Designprinzipien an, um Algorithmen zu schreiben, die ohne manuelles Tuning effizient über verschiedene Cachegrößen hinweg laufen. - Vergleichen Sie moderne Speicherparadigmen, einschließlich Log-Structured Merge (LSM) -Bäume und traditionelle B-Bäumen, die in modernen Datenbank-Engines verwendet werden. Sie beginnen mit grundlegenden Konzepten von Speicherhierarchien und E/A-Kosten, bevor Sie zu den zentralen Datenstrukturen des externen Speichers, externen Sortiertechniken und modernen Datenbankspeicherarchitekturen übergehen. Durch detaillierte schriftliche Erklärungen und algorithmische Walkthroughs lernen Sie, über die Berechnung in Bezug auf die Datenübertragung zu denken, anstatt nur CPU-Zyklen. Dieser Kurs richtet sich an Softwareentwickler, Informatikstudenten und Dateningenieure, die die Hochleistungsdatenverarbeitung verstehen möchten.Es sind keine Vorkenntnisse mit Algorithmen für externe Speicher erforderlich, da wir mit den absoluten Grundlagen beginnen. Lernen Sie noch heute die Algorithmen kennen, die moderne, umfangreiche Datensysteme unterstützen.