Glosar

Entropia încrucișată

Ce este Entropia încrucișată?

Entropia încrucișată (cross-entropy) este o măsură din teoria informației care arată cât de mult se abate o distribuție de probabilitate prezisă de la cea reală. În machine learning, este cea mai frecventă funcție de pierdere pentru sarcinile de clasificare și, de asemenea, pentru modelele lingvistice care prezic următorul token. Penalizează deosebit de sever predicțiile greșite făcute cu încredere: atribuirea a 99% clasei greșite duce la o pierdere mult mai mare decât atribuirea a 60%.

Subiecte

funcție de pierdere
Training
Statistică

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Log loss

Log loss (pierdere logaritmică) măsoară cât de bine se potrivesc probabilitățile prezise de un model de clasificare cu rezultatele reale. Predicțiile făcute cu încredere, dar greșite, sunt penalizate deosebit de sever; o valoare apropiată de zero indică prognoze bine calibrate. Exemplu: dacă un model dă o probabilitate de 95% de pierdere pentru un client care rămâne, log loss crește brusc. Matematic, este același lucru cu entropia încrucișată binară.

metrică
clasificare
+1

Coborârea pe gradient

Coborârea pe gradient este metoda de optimizare cu care sunt antrenate majoritatea modelelor IA. Se măsoară cât de mare este eroarea modelului, se calculează în ce direcție trebuie modificați parametrii pentru a o reduce și apoi se face un pas mic în acea direcție – iar și iar. Este ca un drumeț în ceață care merge mereu la vale pentru a ajunge în vale. Mărimea pasului (rata de învățare) determină viteza și stabilitatea.

optimizare
antrenarea modelelor
+1

Clasificator

Un clasificator este un model sau o metodă care atribuie intrările uneia dintre mai multe categorii predefinite. Variantele clasice, precum arborii de decizie sau naive Bayes, sunt antrenate pe exemple etichetate; modelele lingvistice pot sorta texte și pe baza unei descrieri a categoriilor. Utilizări tipice sunt detectarea spamului, sortarea solicitărilor clienților pe teme și categorisirea bonurilor. Calitatea se măsoară cu metrici precum acuratețea, precizia și recall-ul.

Clasificare
Învățare automată
+1

Șablon

Convergență

În machine learning, convergența înseamnă că o procedură de antrenare se apropie de o stare stabilă: pierderea (loss) abia mai scade, iar parametrii modelului se modifică doar minim. Dacă un model converge și cât de repede depinde de factori precum rata de învățare, calitatea datelor și arhitectura modelului. Dacă rata de învățare este prea mare, pierderea sare de colo-colo; dacă este prea mică, antrenarea durează inutil de mult. Convergența nu garantează un model bun, deoarece acesta poate fi totuși supraînvățat.

Training
optimizare
+1