Progettare algoritmi I/O-efficienti per dati su larga scala

Man mano che i set di dati crescono esponenzialmente, gli algoritmi tradizionali in-memory faticano quando i dati non rientrano più nella RAM. Per costruire sistemi ad alte prestazioni, ingegneri del software e specialisti dei dati devono capire come minimizzare l'accesso lento allo storage e ottimizzare il movimento dei dati. Questo corso ti guida attraverso i principi degli algoritmi a memoria esterna e cache-oblivious. Passerete dalla scrittura di algoritmi standard alla progettazione di sistemi che ottimizzano il trasferimento dei dati attraverso la moderna gerarchia di memoria, migliorando drasticamente le prestazioni per database su larga scala, file system e pipeline di dati. Cosa imparerai: - Comprendere i limiti fondamentali della gerarchia di memoria, incluse le differenze tra RAM, SSD e storage NVMe moderno. - Analizzare gli algoritmi utilizzando il modello di memoria esterna per misurare e minimizzare le operazioni di I/O su disco. - Progettare strutture dati fondamentali a memoria esterna, come B-trees e buffer pool, per un recupero efficiente dei dati. - Applicare i principi di progettazione cache-oblivious per scrivere algoritmi che funzionano in modo efficiente su varie dimensioni di cache senza ottimizzazione manuale. - Confrontare i moderni paradigmi di storage, inclusi gli alberi Log-Structured Merge (LSM) e i tradizionali B-trees, utilizzati nei moderni motori di database. Inizierai con i concetti fondamentali delle gerarchie di memoria e dei costi di I/O prima di progredire verso le strutture dati a memoria esterna principali, le tecniche di ordinamento esterno e le moderne architetture di storage per database. Attraverso spiegazioni scritte dettagliate e walkthrough algoritmici, imparerai a pensare alla computazione in termini di trasferimento di dati piuttosto che solo cicli CPU. Questo corso è progettato per sviluppatori software, studenti di informatica e ingegneri dei dati che desiderano comprendere l'elaborazione di dati ad alte prestazioni. Non è richiesta alcuna esperienza precedente con algoritmi a memoria esterna, poiché partiamo dalle basi assolute. Inizia oggi a padroneggiare gli algoritmi che alimentano i moderni sistemi di dati su larga scala.