Смешанная тренировка точности в PyTorch и fastai

В этом курсе вы узнаете, как оптимизировать потоки обучения с использованием смешанной точности, и узнаете как значительно ускорить потоки в PyTorch и fastai без ущерба для точности модели. Вы перейдете от стандартных потоков обучения одной точности к современным, эффективным с точки зрения использования памяти потокам, которые используют специализированные аппаратные ядра тензорных вычислений. Вы узнаете о том, как реализовать автоматическую смешанную точность, управлять числовой стабильностью с градиентным масштабированием и оптимизировать производительность модели. Понимание основных концепций представлений с плавающей запятой, включая FP32, FP16 и современные форматы BF16. Освоение интеграции смешанных точностей в коде PyTorc и высокоуровневых оберточных пакетах fastai. Практика отладки распространенных проблем с числовыми переполнениями и стабилизации тренировочных прогонов. Настройте свои тренировок для максимального использования оборудования на современных архитектурах GPU. Мы начинаем с фундаментальной математики компьютерной арифметики и точности с плавно переменными перед написанием любого кода, чтобы вы точно понимали, почему и как работает смешанная точность. Этот курс предназначен для программистов среднего уровня и начинающих практиков машинного обучения, которые имеют базовое знание нейронных сетей, но хотят оптимизировать свои потоки тренировки. Не требуется предыдущий опыт с аппаратным ускорением или оптимизацией низкого уровней. Начните оптимизировать ваши потоки глубокого обучения сегодня.