L’errore di generalizzazione misura quanto un modello di IA sbaglia su dati nuovi, mai visti prima, a differenza dell’errore sui dati di addestramento. Una grande differenza tra i due indica overfitting: il modello ha memorizzato gli esempi invece di apprendere schemi generali. Si stima con dati di test tenuti da parte o con la validazione incrociata. È la grandezza davvero decisiva, perché nell’uso reale il modello incontra quasi solo casi nuovi.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoSi parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
Si parla di underfitting quando un modello è troppo semplice per cogliere le relazioni presenti nei dati. Commette quindi molti errori già sui dati di addestramento e anche su quelli nuovi, ad esempio quando una retta deve rappresentare un andamento chiaramente curvo. Rimedi possibili sono un modello più potente, caratteristiche più significative, un addestramento più lungo o meno regolarizzazione; il problema opposto è l'overfitting.
L'errore di addestramento indica quanto le previsioni di un modello si discostano dai valori corretti proprio sui dati usati per addestrarlo. Da solo dice poco: conta il confronto con l'errore di generalizzazione su dati nuovi. Un errore di addestramento elevato fa pensare a underfitting; se invece è molto basso ma l'errore sui dati di test è alto, di solito si tratta di overfitting.
La validazione incrociata è un metodo per verificare quanto bene un modello generalizza su dati nuovi e non visti. Nella validazione incrociata a k fold i dati vengono divisi in k parti; il modello viene addestrato k volte su k−1 parti e testato ogni volta sulla parte rimanente, poi si fa la media dei risultati. Così si individua l'overfitting e si confrontano in modo equo modelli o impostazioni, soprattutto con pochi dati.
