Diseño de Algoritmos I/O-Eficientes para Datos a Gran Escala

A medida que los conjuntos de datos crecen exponencialmente, los algoritmos tradicionales en memoria luchan cuando los datos ya no caben en la RAM. Para construir sistemas de alto rendimiento, los ingenieros de software y los especialistas en datos deben comprender cómo minimizar el acceso lento al almacenamiento y optimizar el movimiento de datos. Este curso lo guiará a través de los principios de los algoritmos de memoria externa y 'cache-oblivious'. Pasará de escribir algoritmos estándar a diseñar sistemas que optimizan la transferencia de datos a través de la jerarquía de memoria moderna, mejorando drásticamente el rendimiento para bases de datos a gran escala, sistemas de archivos y canalizaciones de datos. Lo que aprenderá: - Comprender los límites fundamentales de la jerarquía de memoria, incluidas las diferencias entre RAM, SSD y el almacenamiento NVMe moderno. - Analizar algoritmos utilizando el modelo de memoria externa para medir y minimizar las operaciones de I/O de disco. - Diseñar estructuras de datos fundamentales de memoria externa, como B-trees y buffer pools, para una recuperación de datos eficiente. - Aplicar principios de diseño 'cache-oblivious' para escribir algoritmos que se ejecuten eficientemente en varios tamaños de caché sin ajustes manuales. - Comparar paradigmas de almacenamiento modernos, incluidos los árboles Log-Structured Merge (LSM) y los B-trees tradicionales, utilizados en los motores de bases de datos modernos. Comenzará con los conceptos fundamentales de las jerarquías de memoria y los costos de I/O antes de pasar a las estructuras de datos centrales de memoria externa, las técnicas de ordenación externa y las arquitecturas de almacenamiento de bases de datos modernas. A través de explicaciones escritas detalladas y recorridos algorítmicos, aprenderá a pensar en la computación en términos de transferencia de datos en lugar de solo ciclos de CPU. Este curso está diseñado para desarrolladores de software, estudiantes de informática e ingenieros de datos que desean comprender el procesamiento de datos de alto rendimiento. No se requiere experiencia previa con algoritmos de memoria externa, ya que comenzamos con lo más básico. Comience a dominar hoy mismo los algoritmos que impulsan los sistemas de datos modernos a gran escala.