La regolarizzazione comprende tecniche che impediscono a un modello di adattarsi troppo ai dati di addestramento (overfitting). Ad esempio si penalizzano pesi troppo grandi (regolarizzazione L1 o L2), si disattivano neuroni a caso (dropout) o si interrompe l'addestramento al momento giusto (early stopping). L'obiettivo è un modello più semplice che funzioni meglio su dati nuovi, anche se ottiene risultati leggermente peggiori sui dati di addestramento.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoSi parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
Il dropout è una tecnica di regolarizzazione usata nell'addestramento delle reti neurali: a ogni passo di addestramento una parte casuale dei neuroni viene disattivata temporaneamente. Così la rete non può affidarsi a singole connessioni e apprende schemi più robusti. Ciò riduce l'overfitting, cioè la semplice memorizzazione dei dati di addestramento. Quando il modello finito viene poi usato, tutti i neuroni tornano attivi.
L’errore di generalizzazione misura quanto un modello di IA sbaglia su dati nuovi, mai visti prima, a differenza dell’errore sui dati di addestramento. Una grande differenza tra i due indica overfitting: il modello ha memorizzato gli esempi invece di apprendere schemi generali. Si stima con dati di test tenuti da parte o con la validazione incrociata. È la grandezza davvero decisiva, perché nell’uso reale il modello incontra quasi solo casi nuovi.
Si parla di underfitting quando un modello è troppo semplice per cogliere le relazioni presenti nei dati. Commette quindi molti errori già sui dati di addestramento e anche su quelli nuovi, ad esempio quando una retta deve rappresentare un andamento chiaramente curvo. Rimedi possibili sono un modello più potente, caratteristiche più significative, un addestramento più lungo o meno regolarizzazione; il problema opposto è l'overfitting.
