Conception d'algorithmes I/O-efficaces pour les données à grande échelle

Alors que les ensembles de données augmentent de façon exponentielle, les algorithmes traditionnels en mémoire luttent lorsque les données ne tiennent plus dans la RAM. Pour construire des systèmes haute performance, les ingénieurs logiciels et les spécialistes des données doivent comprendre comment minimiser les accès lents au stockage et optimiser le mouvement des données. Ce cours vous guide à travers les principes des algorithmes à mémoire externe et oblivious au cache. Vous passerez de l'écriture d'algorithmes standard à la conception de systèmes qui optimisent le transfert de données à travers la hiérarchie de mémoire moderne, améliorant considérablement les performances pour les bases de données à grande échelle, les systèmes de fichiers et les pipelines de données. Ce que vous apprendrez : - Comprendre les limites fondamentales de la hiérarchie de mémoire, y compris les différences entre la RAM, les SSD et le stockage NVMe moderne. - Analyser les algorithmes en utilisant le modèle de mémoire externe pour mesurer et minimiser les opérations d'E/S sur disque. - Concevoir des structures de données fondamentales à mémoire externe, telles que les arbres B et les pools de tampons, pour une récupération efficace des données. - Appliquer les principes de conception oblivious au cache pour écrire des algorithmes qui s'exécutent efficacement sur différentes tailles de cache sans réglage manuel. - Comparer les paradigmes de stockage modernes, y compris les arbres LSM (Log-Structured Merge) et les arbres B traditionnels, utilisés dans les moteurs de bases de données modernes. Vous commencerez par les concepts fondamentaux des hiérarchies de mémoire et des coûts d'E/S avant de passer aux structures de données de mémoire externe de base, aux techniques de tri externe et aux architectures de stockage de bases de données modernes. Grâce à des explications écrites détaillées et à des analyses algorithmiques, vous apprendrez à penser au calcul en termes de transfert de données plutôt que de simples cycles CPU. Ce cours est conçu pour les développeurs de logiciels, les étudiants en informatique et les ingénieurs de données qui souhaitent comprendre le traitement de données haute performance. Aucune expérience préalable des algorithmes à mémoire externe n'est requise, car nous commençons par les bases absolues. Commencez dès aujourd'hui à maîtriser les algorithmes qui alimentent les systèmes de données modernes à grande échelle.