Projektowanie algorytmów I/O-wydajnych dla danych wielkoskalowych

Aby budować systemy o wysokiej wydajności, inżynierowie oprogramowania i specjaliści ds. danych muszą wiedzieć, jak zminimalizować powolny dostęp do pamięci masowej i zoptymalizować przenoszenie danych. Ten kurs poprowadzi Cię przez zasady pamięci zewnętrznej i algorytmów zapominających o pamięci podręcznej.Będziesz przechodzić od pisania standardowych algorytw do projektowania systemów, które optymalizują transfer danych w nowoczesnej hierarchii pamięci, drastycznie poprawiając wydajność dużych baz danych, systemów plików i potoków danych. Czego się nauczysz: - Zrozum podstawowe ograniczenia hierarchii pamięci, w tym różnice między pamięcią RAM, dyskami SSD i nowoczesną pamięcię masową NVMe. - Analizuj algorytmy za pomocą zewnętrznego modelu pamięci w celu pomiaru i minimalizacji operacji wejścia / wyjścia dysku. - Zaprojektuj podstawowe struktury danych pamięci zewnętrznej, takie jak drzewa B i pule buforów, w celu wydajnego pobierania danych. - Zastosuj zasady projektowania pamięci podręcznej, aby pisać algorytmy, które działają wydajnie w różnych rozmiarach pamięci cache bez ręcznego dostrajania. - Porównaj nowoczesne paradygmaty pamięci masowej, w tym drzewa Log-Structured Merge (LSM) i tradycyjne drzewka B, używane w nowoczesnych silnikach baz danych. Zaczniesz od podstawowych pojęć hierarchii pamięci i kosztów I / O, zanim przejdziesz do podstawowych zewnętrznych struktur danych pamięci, zewnętrznego sortowania i nowoczesnych architektur pamięci masowej baz danych. Poprzez szczegółowe pisemne wyjaśnienia i przewodniki algorytmiczne nauczysz się myśleć o obliczeniach w zakresie transferu danych, a nie tylko cykli procesora. Ten kurs jest przeznaczony dla programistów, studentów informatyki i inżynierów danych, którzy chcą zrozumieć wysokowydajne przetwarzanie danych.Nie jest wymagane wcześniejsze doświadczenie z algorytmami pamięci zewnętrznej, ponieważ zaczynamy od absolutnych podstaw. Zacznij opanować algorytmy, które napędzają nowoczesne, wielkoskalowe systemy danych już dziś.