Valutazione dei modelli linguistici con Azure Databricks

Il deployment dei modelli linguistici è solo metà della battaglia; garantire che producano risposte accurate, sicure e pertinenti è fondamentale per le applicazioni del mondo reale. Questo corso basato su testo ti guida attraverso il processo di valutazione e benchmarking degli output dei modelli. Imparerai a progettare ed eseguire pipeline di valutazione robuste su Azure Databricks, passando da controlli manuali soggettivi a strategie di valutazione scalabili e automatizzate. Cosa imparerai: Comprendere le metriche di valutazione fondamentali dei modelli linguistici, tra cui accuratezza, pertinenza, tossicità e groundedness; Configurare gli ambienti Azure Databricks per tracciare e gestire le esecuzioni di valutazione; Applicare le API di valutazione MLflow per registrare e confrontare sistematicamente diverse versioni del modello; Implementare il pattern LLM-as-a-judge per automatizzare le valutazioni qualitative; Analizzare i risultati della valutazione per identificare i bias del modello e i colli di bottiglia delle prestazioni. Il corso inizia con i concetti fondamentali delle prestazioni del modello e la terminologia chiave di valutazione. Successivamente, passerai alla scrittura di script di valutazione, alla configurazione di MLflow e all'analisi dei dati comparativi attraverso tutorial scritti chiari e passo-passo. Questo corso è progettato per data scientist, sviluppatori e appassionati di intelligenza artificiale che desiderano apprendere le basi della valutazione dei modelli; non è richiesta alcuna esperienza precedente con Databricks o machine learning avanzato. Inizia a costruire applicazioni AI affidabili imparando a misurare ciò che conta.