Масштабирование CUDA C++ приложений на несколько узлов

По мере роста вычислительных потребностей и объемов данных ускорения на одном GPU часто становится недостаточно. Переход к запуску приложений на нескольких GPU и сетевых узлах — это ключ к раскрытию истинной мощности высокопроизводительных вычислений. Этот текстовый курс познакомит вас с фундаментальными шаблонами, архитектурными концепциями и моделями программирования, необходимыми для масштабирования ваших приложений с ускорением на GPU. Вы перейдете от написания кода для одного устройства к координации сложного параллельного выполнения на нескольких узлах. Что вы узнаете: - Поймете базовую архитектуру распределенных систем с несколькими GPU и узлами. - Реализуете взаимодействие между несколькими GPU с использованием CUDA-aware Message Passing Interface (MPI). - Примените шаблоны коллективного взаимодействия для эффективной синхронизации данных между отдельными узлами. - Настроите передачу данных между устройствами (peer-to-peer) и используете концепции GPUDirect RDMA для обхода узких мест памяти хоста. - Попрактикуетесь в написании чистого, масштабируемого кода CUDA C++ с помощью структурированных письменных объяснений и пошаговых разборов кода. Курс начинается с базовых определений систем с распределенной памятью, топологий сетей и основ взаимодействия между несколькими GPU. Затем вы перейдете к изучению протоколов связи, передачи данных между устройствами и оркестрации на нескольких узлах. Этот курс предназначен для разработчиков, которые имеют базовое представление о CUDA C++ для одного GPU и хотят научиться масштабировать свои приложения. Предварительный опыт работы с кластерами из нескольких узлов или MPI не требуется. Начните масштабировать свои навыки параллельных вычислений уже сегодня.