Si parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoSi parla di underfitting quando un modello è troppo semplice per cogliere le relazioni presenti nei dati. Commette quindi molti errori già sui dati di addestramento e anche su quelli nuovi, ad esempio quando una retta deve rappresentare un andamento chiaramente curvo. Rimedi possibili sono un modello più potente, caratteristiche più significative, un addestramento più lungo o meno regolarizzazione; il problema opposto è l'overfitting.
La regolarizzazione comprende tecniche che impediscono a un modello di adattarsi troppo ai dati di addestramento (overfitting). Ad esempio si penalizzano pesi troppo grandi (regolarizzazione L1 o L2), si disattivano neuroni a caso (dropout) o si interrompe l'addestramento al momento giusto (early stopping). L'obiettivo è un modello più semplice che funzioni meglio su dati nuovi, anche se ottiene risultati leggermente peggiori sui dati di addestramento.
La validazione incrociata è un metodo per verificare quanto bene un modello generalizza su dati nuovi e non visti. Nella validazione incrociata a k fold i dati vengono divisi in k parti; il modello viene addestrato k volte su k−1 parti e testato ogni volta sulla parte rimanente, poi si fa la media dei risultati. Così si individua l'overfitting e si confrontano in modo equo modelli o impostazioni, soprattutto con pochi dati.
L’errore di generalizzazione misura quanto un modello di IA sbaglia su dati nuovi, mai visti prima, a differenza dell’errore sui dati di addestramento. Una grande differenza tra i due indica overfitting: il modello ha memorizzato gli esempi invece di apprendere schemi generali. Si stima con dati di test tenuti da parte o con la validazione incrociata. È la grandezza davvero decisiva, perché nell’uso reale il modello incontra quasi solo casi nuovi.
