Si parla di underfitting quando un modello è troppo semplice per cogliere le relazioni presenti nei dati. Commette quindi molti errori già sui dati di addestramento e anche su quelli nuovi, ad esempio quando una retta deve rappresentare un andamento chiaramente curvo. Rimedi possibili sono un modello più potente, caratteristiche più significative, un addestramento più lungo o meno regolarizzazione; il problema opposto è l'overfitting.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoSi parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
L’errore di generalizzazione misura quanto un modello di IA sbaglia su dati nuovi, mai visti prima, a differenza dell’errore sui dati di addestramento. Una grande differenza tra i due indica overfitting: il modello ha memorizzato gli esempi invece di apprendere schemi generali. Si stima con dati di test tenuti da parte o con la validazione incrociata. È la grandezza davvero decisiva, perché nell’uso reale il modello incontra quasi solo casi nuovi.
L'errore di addestramento indica quanto le previsioni di un modello si discostano dai valori corretti proprio sui dati usati per addestrarlo. Da solo dice poco: conta il confronto con l'errore di generalizzazione su dati nuovi. Un errore di addestramento elevato fa pensare a underfitting; se invece è molto basso ma l'errore sui dati di test è alto, di solito si tratta di overfitting.
La regolarizzazione comprende tecniche che impediscono a un modello di adattarsi troppo ai dati di addestramento (overfitting). Ad esempio si penalizzano pesi troppo grandi (regolarizzazione L1 o L2), si disattivano neuroni a caso (dropout) o si interrompe l'addestramento al momento giusto (early stopping). L'obiettivo è un modello più semplice che funzioni meglio su dati nuovi, anche se ottiene risultati leggermente peggiori sui dati di addestramento.
