Confronto tra ottimizzatori in JAX e Flax: SGD vs AdaBelief

Questo corso ti guiderà attraverso i meccanismi di base dell'ottimizzazione nell'apprendimento automatico, concentrandoti sulla fondamentale discesa del gradiente stocastico (SGD) e sull'ottimizzatore avanzato AdaBelief. Imparerai come implementare, confrontare e valutare questi algoritmi utilizzando JAX e Flax, acquisendo una chiara comprensione di come le scelte di ottimizzazione influiscono sulle prestazioni della rete neurale convoluzionale (CNN). Cosa imparerai: - Comprendere i fondamenti matematici di SGD e gli algoritmi di ottimizzazione adattiva come AdaBelief - Configura e inizializza le pipeline di allenamento della rete neurale utilizzando JAX e Flax - Implementa le configurazioni dell'ottimizzatore utilizzando Optax, la libreria di ottimizzazione standard per JAX - Traccia e analizza le curve di perdita, i tassi di convergenza e la stabilità dell'allenamento - Confronta le prestazioni dell'ottimizzatore durante l'allenamento CNN su set di dati standard - Applicare moderni modelli JAX tra cui funzioni pure e compilazione just-in-time (JIT) Inizierai con i concetti fondamentali della discesa del gradiente e della meccanica dell'ottimizzatore, procederai alla creazione di reti neurali in Flax e concluderai conducendo esperimenti di confronto strutturati.Questo corso è progettato per principianti e professionisti dell'apprendimento automatico intermedi che vogliono comprendere l'ottimazione del deep learning. Si consiglia una familiarità di base con Python e i concetti di rete neurale, ma non è richiesta alcuna esperienza precedente con JAX o Flax.