Mở rộng ứng dụng CUDA C++ lên nhiều nút

Khi nhu cầu tính toán và kích thước tập dữ liệu tăng lên, việc tăng tốc bằng một GPU thường không còn đủ nữa. Chuyển đổi ứng dụng của bạn để chạy trên nhiều GPU và nút mạng là chìa khóa để mở khóa sức mạnh tính toán hiệu suất cao thực sự. Khóa học dựa trên văn bản này sẽ hướng dẫn bạn các mẫu cơ bản, khái niệm kiến trúc và mô hình lập trình cần thiết để mở rộng các ứng dụng tăng tốc GPU của bạn. Bạn sẽ chuyển từ việc viết mã cho một thiết bị sang điều phối việc thực thi song song phức tạp, đa nút. Những gì bạn sẽ học: - Hiểu kiến trúc cốt lõi của các hệ thống phân tán đa GPU và đa nút. - Triển khai giao tiếp đa GPU bằng Giao diện Truyền tin (MPI) tương thích với CUDA. - Áp dụng các mẫu giao tiếp tập thể để đồng bộ hóa dữ liệu hiệu quả giữa các nút riêng biệt. - Cấu hình truyền tải ngang hàng (peer-to-peer) và tận dụng các khái niệm GPUDirect RDMA để bỏ qua các nút thắt cổ chai bộ nhớ máy chủ. - Thực hành viết mã CUDA C++ sạch, có khả năng mở rộng thông qua các giải thích bằng văn bản có cấu trúc và hướng dẫn mã từng bước. Khóa học này bắt đầu với các định nghĩa cơ bản về hệ thống bộ nhớ phân tán, cấu trúc liên kết mạng và các kiến thức cơ bản về giao tiếp đa GPU. Sau đó, bạn sẽ tiến bộ thông qua các giải thích bằng văn bản về giao thức giao tiếp, truyền tải ngang hàng và điều phối đa nút. Khóa học này được thiết kế cho các nhà phát triển có hiểu biết cơ bản về CUDA C++ trên một GPU và muốn tìm hiểu cách mở rộng ứng dụng của họ. Không yêu cầu kinh nghiệm trước với các cụm đa nút hoặc MPI. Hãy bắt đầu nâng cao kỹ năng tính toán song song của bạn ngay hôm nay.