Skalowanie aplikacji CUDA C++ do wielu węzłów

W miarę wzrostu wymagań obliczeniowych i rozmiarów zbiorów danych, akceleracja na pojedynczym GPU często przestaje wystarczać. Przejście na uruchamianie aplikacji w wielu procesorach GPU i węzłach sieciowych jest kluczem do odblokowania prawdziwej mocy obliczeniowej wysokiej wydajności. Ten tekstowy kurs przeprowadzi Cię przez podstawowe wzorce, koncepcje architektoniczne i modele programowania wymagane do skalowania aplikacji przyspieszanych przez GPU. Przejdziesz od pisania kodu dla pojedynczego urządzenia do koordynowania złożonego, wielowęzłowego wykonania równoległego. Co zyskasz: - Zrozumiesz podstawową architekturę systemów rozproszonych typu multi-GPU i multi-node. - Zaimplementujesz komunikację multi-GPU przy użyciu CUDA-aware Message Passing Interface (MPI). - Zastosujesz wzorce komunikacji zbiorowej w celu wydajnej synchronizacji danych pomiędzy oddzielnymi węzłami. - Skonfigurujesz transfery peer-to-peer i wykorzystasz koncepcje GPUDirect RDMA, aby ominąć wąskie gardła pamięci hosta. - Przećwiczysz pisanie czystego, skalowalnego kodu CUDA C++ poprzez ustrukturyzowane wyjaśnienia pisemne i szczegółowe analizy kodu krok po kroku. Kurs rozpoczyna się od podstawowych definicji systemów z rozproszoną pamięcią, topologii sieci i podstaw komunikacji multi-GPU. Następnie przejdziesz przez pisemne wyjaśnienia protokołów komunikacyjnych, transferów peer-to-peer i orkiestracji wielowęzłowej. Kurs jest przeznaczony dla programistów, którzy posiadają podstawową wiedzę na temat CUDA C++ dla pojedynczego GPU i chcą nauczyć się skalować swoje aplikacje. Nie jest wymagane wcześniejsze doświadczenie z klastrami wielowęzłowymi ani MPI. Zacznij skalować swoje umiejętności obliczeń równoległych już dziś.