Escalado de aplicaciones CUDA C++ a múltiples nodos

A medida que las demandas computacionales y los tamaños de los conjuntos de datos crecen, la aceleración con una sola GPU a menudo ya no es suficiente. La transición de sus aplicaciones para ejecutarse en múltiples GPUs y nodos de red es la clave para desbloquear el verdadero poder de la computación de alto rendimiento. Este curso basado en texto lo guía a través de los patrones fundamentales, los conceptos arquitectónicos y los modelos de programación necesarios para escalar sus aplicaciones aceleradas por GPU. Pasará de escribir código para un solo dispositivo a coordinar una ejecución paralela compleja y multinodo. Lo que aprenderá: - Comprender la arquitectura central de los sistemas distribuidos multi-GPU y multinodo. - Implementar la comunicación multi-GPU utilizando la interfaz de paso de mensajes (MPI) compatible con CUDA. - Aplicar patrones de comunicación colectiva para sincronizar datos de manera eficiente entre nodos separados. - Configurar transferencias punto a punto y aprovechar los conceptos de GPUDirect RDMA para evitar los cuellos de botella de la memoria del host. - Practicar la escritura de código CUDA C++ limpio y escalable a través de explicaciones escritas estructuradas y recorridos de código paso a paso. Este curso comienza con definiciones fundamentales de sistemas de memoria distribuida, topologías de red y conceptos básicos de comunicación multi-GPU. Luego, avanzará a través de explicaciones escritas de protocolos de comunicación, transferencias punto a punto y orquestación multinodo. Este curso está diseñado para desarrolladores que tienen una comprensión básica de CUDA C++ en una sola GPU y desean aprender a escalar sus aplicaciones. No se requiere experiencia previa con clústeres multinodo o MPI. Comience a escalar sus habilidades de computación paralela hoy mismo.