Glossario

Retropropagazione (backpropagation)

Che cos’è Retropropagazione (backpropagation)?

La retropropagazione dell'errore (backpropagation) è il metodo standard con cui le reti neurali apprendono. Dopo ogni previsione si misura l'errore e lo si propaga all'indietro attraverso gli strati della rete, calcolando quanto ciascun peso vi abbia contribuito. Un metodo di ottimizzazione come la discesa del gradiente aggiorna poi i pesi passo dopo passo. Senza backpropagation l'addestramento degli attuali modelli linguistici e visivi sarebbe praticamente impossibile.

Temi

Reti neurali
Addestramento
Fondamenti

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Discesa del gradiente

La discesa del gradiente è il metodo di ottimizzazione con cui si addestra la maggior parte dei modelli di IA. Si misura l’errore del modello, si calcola in quale direzione devono cambiare i parametri per ridurlo e si compie un piccolo passo in quella direzione, ripetendo il processo. È come un escursionista nella nebbia che scende sempre lungo il pendio per raggiungere la valle. L’ampiezza del passo (learning rate) determina velocità e stabilità.

Ottimizzazione
Addestramento
+1

Reti neurali artificiali (RNA)

Le reti neurali artificiali (RNA) sono modelli di calcolo composti da molte unità collegate («neuroni»), disposte in strati, che elaborano gli input tramite connessioni pesate. Durante l'addestramento i pesi vengono regolati passo dopo passo sulla base di esempi, di solito con la backpropagation. Le RNA sono alla base del deep learning e si trovano nel riconoscimento di immagini e del parlato e nei grandi modelli linguistici. Nonostante l'ispirazione biologica, funzionano in modo molto più semplice del cervello umano.

Deep learning
Fondamenti di IA
+1

Funzioni di attivazione

Le funzioni di attivazione stabiliscono con quale intensità un neurone di una rete neurale artificiale trasmette il proprio segnale. Introducono la non linearità: solo così la rete può rappresentare relazioni complesse come il linguaggio o le immagini. Esempi diffusi sono ReLU, che azzera i valori negativi, la sigmoide per probabilità tra 0 e 1 e GELU, usata in molti modelli transformer. La scelta influisce su velocità e stabilità dell'addestramento.

Reti neurali
Deep learning
+1

Entropia incrociata

L'entropia incrociata è una misura della teoria dell'informazione che indica quanto una distribuzione di probabilità prevista si discosta da quella reale. Nel machine learning è la funzione di perdita più usata per i compiti di classificazione e anche per i modelli linguistici che prevedono il token successivo. Penalizza in particolare le previsioni sbagliate fatte con grande sicurezza: assegnare il 99% a una classe errata produce una perdita molto più alta che assegnare il 60%.

Funzione di perdita
Addestramento
+1