Il bagging (abbreviazione di bootstrap aggregating) è un metodo d'insieme del machine learning: molti modelli vengono addestrati su campioni estratti casualmente dai dati di addestramento e le loro previsioni sono mediate o combinate a maggioranza. Ciò rende i risultati più stabili e riduce l'overfitting. L'esempio più noto è la random forest, che unisce molti alberi decisionali, ad esempio per prevedere abbandoni dei clienti o prezzi.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoLa regressione random forest prevede valori numerici combinando molti alberi decisionali. Ogni albero viene addestrato su un campione casuale dei dati e con una selezione casuale di variabili; il risultato è la media delle previsioni di tutti gli alberi. Così il metodo è più robusto e meno soggetto a overfitting di un singolo albero. Si usa ad esempio per previsioni di vendita, stime di prezzo o fabbisogno energetico, spesso come solido punto di partenza con dati tabellari.
Il boosting è un metodo d'insieme del machine learning in cui molti modelli semplici vengono addestrati uno dopo l'altro: ogni nuovo modello si concentra sui casi in cui i precedenti hanno sbagliato. Insieme formano un modello complessivo molto più preciso. Varianti note sono AdaBoost e il gradient boosting, con librerie come XGBoost o LightGBM. Il boosting rende particolarmente bene con dati tabellari, ad esempio per previsioni di rischio di credito, vendite o abbandono dei clienti.
Un albero decisionale è un modello che rappresenta una decisione come una sequenza di semplici domande sì/no: ogni ramo verifica una caratteristica, ogni foglia fornisce un risultato. Nel machine learning questi alberi vengono appresi automaticamente dai dati e usati per classificazioni o previsioni. Il loro punto di forza è la leggibilità, ad esempio per capire perché una richiesta di credito è stata segnalata in base a reddito, durata e storico dei pagamenti.
Si parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
