Ontwerpen van I/O-Efficiënte Algoritmes voor Grootschalige Data

Om systemen met hoge prestaties te bouwen, moeten software-engineers en dataspecialisten begrijpen hoe ze de toegang tot langzame opslag kunnen minimaliseren en de verplaatsing van gegevens kunnen optimaliseren. Deze cursus leidt u door de principes van extern geheugen en cache-vergeten algoritmen.U gaat over van het schrijven van standaardalgoritmen naar het ontwerpen van systemen die de gegevensoverdracht optimaliseren in de moderne geheugenhiërarchie, waardoor de prestaties voor grootschalige databases, bestandssystemen en gegevenspijpleidingen drastisch worden verbeterd. Wat je leert: - Begrijp de fundamentele grenzen van de geheugenhiërarchie, inclusief de verschillen tussen RAM, SSD's en moderne NVMe-opslag. - Analyseer algoritmen met behulp van het externe geheugenmodel om schijf-I / O-bewerkingen te meten en te minimaliseren. - Ontwerp fundamentele externe geheugengegevensstructuren, zoals B-bomen en bufferpools, voor efficiënt ophalen van gegevens. - Pas cache-vergeten ontwerpprincipes toe om algoritmen te schrijven die efficiënt werken in verschillende cachegroottes zonder handmatig afstemmen. - Vergelijk moderne opslagparadigma's, waaronder Log-Structured Merge (LSM) -bomen en traditionele B-bomen, die worden gebruikt in moderne database-engine. U begint met fundamentele concepten van geheugenhiërarchieën en I / O-kosten voordat u doorgaat naar kernstructuren voor externe geheugengegevens, externe sorteertechnieken en moderne databaseopslagarchitecturen. Door middel van gedetailleerde schriftelijke uitleg en algoritmische walkthroughs, leer je na te denken over berekening in termen van gegevensoverdracht in plaats van alleen CPU-cycli. Deze cursus is bedoeld voor softwareontwikkelaars, studenten informatica en data-engineers die inzicht willen krijgen in high-performance dataverwerking.Ervaring met externe geheugenalgoritmen is niet vereist, omdat we beginnen met de absolute basis. Begin vandaag nog met het beheersen van de algoritmen die moderne, grootschalige datasystemen aandrijven.