La discesa del gradiente è il metodo di ottimizzazione con cui si addestra la maggior parte dei modelli di IA. Si misura l’errore del modello, si calcola in quale direzione devono cambiare i parametri per ridurlo e si compie un piccolo passo in quella direzione, ripetendo il processo. È come un escursionista nella nebbia che scende sempre lungo il pendio per raggiungere la valle. L’ampiezza del passo (learning rate) determina velocità e stabilità.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoLa retropropagazione dell'errore (backpropagation) è il metodo standard con cui le reti neurali apprendono. Dopo ogni previsione si misura l'errore e lo si propaga all'indietro attraverso gli strati della rete, calcolando quanto ciascun peso vi abbia contribuito. Un metodo di ottimizzazione come la discesa del gradiente aggiorna poi i pesi passo dopo passo. Senza backpropagation l'addestramento degli attuali modelli linguistici e visivi sarebbe praticamente impossibile.
Nel machine learning, la convergenza indica che un processo di addestramento si avvicina a uno stato stabile: la funzione di perdita quasi non diminuisce più e i parametri del modello cambiano in modo minimo. Se e quanto rapidamente un modello converge dipende tra l'altro da learning rate, qualità dei dati e architettura. Con un learning rate troppo alto l'errore oscilla; troppo basso, l'addestramento dura inutilmente a lungo. La convergenza non garantisce un buon modello, che potrebbe essere in overfitting.
L'entropia incrociata è una misura della teoria dell'informazione che indica quanto una distribuzione di probabilità prevista si discosta da quella reale. Nel machine learning è la funzione di perdita più usata per i compiti di classificazione e anche per i modelli linguistici che prevedono il token successivo. Penalizza in particolare le previsioni sbagliate fatte con grande sicurezza: assegnare il 99% a una classe errata produce una perdita molto più alta che assegnare il 60%.
Gli iperparametri sono impostazioni fissate prima dell'addestramento di un modello, come il tasso di apprendimento, il numero di strati o l'intensità della regolarizzazione. L'ottimizzazione degli iperparametri cerca in modo sistematico la combinazione che offre i risultati migliori sui dati di validazione, ad esempio con ricerca a griglia, ricerca casuale od ottimizzazione bayesiana. Valori ben scelti migliorano l'accuratezza e riducono sovra- e sottoadattamento, ma richiedono tempo di calcolo.
