Glossario

Entropia incrociata

Che cos’è Entropia incrociata?

L'entropia incrociata è una misura della teoria dell'informazione che indica quanto una distribuzione di probabilità prevista si discosta da quella reale. Nel machine learning è la funzione di perdita più usata per i compiti di classificazione e anche per i modelli linguistici che prevedono il token successivo. Penalizza in particolare le previsioni sbagliate fatte con grande sicurezza: assegnare il 99% a una classe errata produce una perdita molto più alta che assegnare il 60%.

Temi

Funzione di perdita
Addestramento
Statistica

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Log loss

La log loss (perdita logaritmica) misura quanto le probabilità previste da un modello di classificazione corrispondano ai risultati reali. Le previsioni sicure ma errate vengono penalizzate in modo particolarmente forte; un valore vicino a zero indica previsioni ben calibrate. Esempio: se un modello stima al 95% l’abbandono di un cliente che invece resta, la log loss aumenta nettamente. Dal punto di vista matematico coincide con l’entropia incrociata binaria.

metrica
classificazione
+1

Discesa del gradiente

La discesa del gradiente è il metodo di ottimizzazione con cui si addestra la maggior parte dei modelli di IA. Si misura l’errore del modello, si calcola in quale direzione devono cambiare i parametri per ridurlo e si compie un piccolo passo in quella direzione, ripetendo il processo. È come un escursionista nella nebbia che scende sempre lungo il pendio per raggiungere la valle. L’ampiezza del passo (learning rate) determina velocità e stabilità.

Ottimizzazione
Addestramento
+1

Classificatore

Un classificatore è un modello o un metodo che assegna un input a una tra diverse categorie predefinite. Le varianti classiche, come gli alberi decisionali o Naive Bayes, vengono addestrate con esempi etichettati; anche i modelli linguistici possono classificare testi sulla base di una descrizione delle categorie. Usi tipici sono il rilevamento dello spam, lo smistamento delle richieste dei clienti per tema e la classificazione di documenti contabili. La qualità si misura con metriche come accuratezza, precisione e recall.

Classificazione
Machine learning
+1

Modello

Convergenza

Nel machine learning, la convergenza indica che un processo di addestramento si avvicina a uno stato stabile: la funzione di perdita quasi non diminuisce più e i parametri del modello cambiano in modo minimo. Se e quanto rapidamente un modello converge dipende tra l'altro da learning rate, qualità dei dati e architettura. Con un learning rate troppo alto l'errore oscilla; troppo basso, l'addestramento dura inutilmente a lungo. La convergenza non garantisce un buon modello, che potrebbe essere in overfitting.

Addestramento
Ottimizzazione
+1