Glosar

Normalizarea pe loturi

Ce este Normalizarea pe loturi?

Normalizarea pe loturi (batch normalisation) este o tehnică de antrenare a rețelelor neuronale profunde care rescalează valorile intermediare ale unui strat, pentru fiecare lot de date, la o medie și o dispersie uniforme. Acest lucru face antrenarea mai stabilă și adesea mai rapidă, iar rețeaua devine mai puțin sensibilă la valorile inițiale. Introdusă în 2015, este frecventă în rețelele de recunoaștere a imaginilor; modelele transformer se bazează de obicei pe normalizarea pe straturi (layer normalisation), o tehnică înrudită.

Subiecte

Deep learning
Training
Rețele neuronale

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Deep learning

Deep learning este o ramură a machine learning care folosește rețele neuronale artificiale cu multe straturi. Astfel de rețele învață din cantități mari de date ce trăsături contează – de la muchiile din imagini până la relațiile de sens din texte. Deep learning stă la baza modelelor lingvistice actuale, a recunoașterii imaginilor și a vorbirii și a traducerii automate și necesită, de regulă, o putere de calcul și date de antrenare considerabile.

rețele neuronale
machine learning
+1

Dropout

Dropout este o tehnică de regularizare folosită la antrenarea rețelelor neuronale: la fiecare pas de antrenare, o parte aleatorie a neuronilor este dezactivată temporar. Astfel, rețeaua nu se mai bazează pe conexiuni individuale și învață tipare mai robuste. Reduce supraînvățarea (overfitting), adică simpla memorare a datelor de antrenare. Când modelul finalizat este folosit ulterior, toți neuronii sunt din nou activi.

antrenare
regularizare
+1

Regularizare

Regularizarea cuprinde tehnici care împiedică un model să se potrivească prea strâns datelor sale de antrenare în timpul antrenării (supraajustare). Exemple sunt penalizarea ponderilor mari (regularizare L1 sau L2), dezactivarea aleatorie a neuronilor (dropout) sau oprirea antrenării la momentul potrivit (early stopping). Scopul este un model mai simplu, care funcționează mai fiabil pe date noi, nevăzute, chiar dacă obține un scor puțin mai mic pe datele de antrenare.

antrenare
supraajustare
+1

Coborârea pe gradient

Coborârea pe gradient este metoda de optimizare cu care sunt antrenate majoritatea modelelor IA. Se măsoară cât de mare este eroarea modelului, se calculează în ce direcție trebuie modificați parametrii pentru a o reduce și apoi se face un pas mic în acea direcție – iar și iar. Este ca un drumeț în ceață care merge mereu la vale pentru a ajunge în vale. Mărimea pasului (rata de învățare) determină viteza și stabilitatea.

optimizare
antrenarea modelelor
+1