Distillazione della Conoscenza: Addestramento di Reti Neurali Studente Efficienti

I modelli di deep learning stanno diventando sempre più grandi e intensivi in termini di risorse, rendendone difficile l'implementazione su hardware standard o dispositivi edge. La distillazione della conoscenza risolve questo problema trasferendo l'intelligenza appresa di una massiccia rete 'insegnante' (teacher) in una rete 'studente' (student) compatta e altamente efficiente senza sacrificare la precisione. Questo corso solo testuale ti guida attraverso i concetti fondamentali e le tecniche pratiche per l'addestramento delle reti studente. Capirai come comprimere i modelli, ottimizzare le velocità di inferenza e implementare soluzioni di IA leggere. Cosa imparerai: - Comprendere i principi fondamentali della distillazione della conoscenza e delle architetture teacher-student. - Applicare temperature scaling e soft targets per catturare la conoscenza oscura (dark knowledge) da modelli complessi. - Configurare le funzioni di perdita (loss functions), inclusa la divergenza Kullback-Leibler (KL), per allineare gli output dello studente e dell'insegnante. - Esercitarsi a distillare modelli linguistici di grandi dimensioni (large language models) e vision transformers in versioni più piccole e implementabili. - Valutare le prestazioni della rete studente, la riduzione delle dimensioni e i guadagni in velocità di inferenza. Iniziamo con la terminologia essenziale delle reti neurali e le basi matematiche del trasferimento di conoscenza. Da lì, esplorerai spiegazioni scritte passo dopo passo e implementazioni di codice per l'addestramento, il fine-tuning e il test delle tue reti studente. Questo corso è progettato per appassionati di machine learning, sviluppatori e data scientist di livello da principiante a intermedio che desiderano costruire modelli di IA efficienti. Una familiarità di base con Python e i concetti delle reti neurali è utile, ma non è richiesta alcuna esperienza precedente con la compressione dei modelli. Inizia oggi stesso a ottimizzare i tuoi modelli di deep learning per il mondo reale.