Il dropout è una tecnica di regolarizzazione usata nell'addestramento delle reti neurali: a ogni passo di addestramento una parte casuale dei neuroni viene disattivata temporaneamente. Così la rete non può affidarsi a singole connessioni e apprende schemi più robusti. Ciò riduce l'overfitting, cioè la semplice memorizzazione dei dati di addestramento. Quando il modello finito viene poi usato, tutti i neuroni tornano attivi.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoSi parla di overfitting (sovradattamento) quando un modello impara a memoria i dati di addestramento, compresi casualità e rumore, invece di cogliere schemi di validità generale. Sui dati noti sembra molto preciso, ma sui dati nuovi offre risultati scarsi. Un segnale tipico è un ampio divario tra errore di addestramento ed errore di test. Le contromisure sono più dati o dati più vari, modelli più semplici, regolarizzazione, dropout e convalida incrociata.
La regolarizzazione comprende tecniche che impediscono a un modello di adattarsi troppo ai dati di addestramento (overfitting). Ad esempio si penalizzano pesi troppo grandi (regolarizzazione L1 o L2), si disattivano neuroni a caso (dropout) o si interrompe l'addestramento al momento giusto (early stopping). L'obiettivo è un modello più semplice che funzioni meglio su dati nuovi, anche se ottiene risultati leggermente peggiori sui dati di addestramento.
Le reti neurali artificiali (RNA) sono modelli di calcolo composti da molte unità collegate («neuroni»), disposte in strati, che elaborano gli input tramite connessioni pesate. Durante l'addestramento i pesi vengono regolati passo dopo passo sulla base di esempi, di solito con la backpropagation. Le RNA sono alla base del deep learning e si trovano nel riconoscimento di immagini e del parlato e nei grandi modelli linguistici. Nonostante l'ispirazione biologica, funzionano in modo molto più semplice del cervello umano.
La normalizzazione batch (batch normalization) è una tecnica per l'addestramento di reti neurali profonde che riporta i valori intermedi di uno strato, per ogni lotto di dati, a media e dispersione uniformi. L'addestramento diventa così più stabile e spesso più rapido, e la rete è meno sensibile ai valori iniziali. Presentata nel 2015, è diffusa soprattutto nelle reti per il riconoscimento di immagini; i transformer usano di solito la layer normalization, una tecnica affine.
