Mise à l'échelle d'applications CUDA C++ sur plusieurs nœuds

À mesure que les exigences informatiques et la taille des jeux de données augmentent, l'accélération sur un seul GPU ne suffit souvent plus. La transition de vos applications pour qu'elles s'exécutent sur plusieurs GPU et nœuds réseau est la clé pour libérer une véritable puissance de calcul haute performance. Ce cours textuel vous guide à travers les modèles fondamentaux, les concepts architecturaux et les modèles de programmation nécessaires pour mettre à l'échelle vos applications accélérées par GPU. Vous passerez de l'écriture de code pour un seul périphérique à la coordination d'une exécution parallèle complexe sur plusieurs nœuds. Ce que vous apprendrez : - Comprendre l'architecture fondamentale des systèmes distribués multi-GPU et multi-nœuds. - Implémenter la communication multi-GPU en utilisant l'interface de passage de messages (MPI) compatible avec CUDA. - Appliquer des modèles de communication collective pour synchroniser efficacement les données entre des nœuds distincts. - Configurer les transferts pair-à-pair et tirer parti des concepts GPUDirect RDMA pour contourner les goulots d'étranglement de la mémoire hôte. - Pratiquer l'écriture de code CUDA C++ propre et évolutif grâce à des explications écrites structurées et des procédures pas à pas. Ce cours commence par des définitions fondamentales des systèmes à mémoire distribuée, des topologies réseau et des bases de la communication multi-GPU. Vous progresserez ensuite à travers des explications écrites sur les protocoles de communication, les transferts pair-à-pair et l'orchestration multi-nœuds. Ce cours est conçu pour les développeurs qui ont une compréhension de base de CUDA C++ sur un seul GPU et qui souhaitent apprendre à mettre à l'échelle leurs applications. Aucune expérience préalable avec les clusters multi-nœuds ou MPI n'est requise. Commencez à développer vos compétences en calcul parallèle dès aujourd'hui.