Dropout este o tehnică de regularizare folosită la antrenarea rețelelor neuronale: la fiecare pas de antrenare, o parte aleatorie a neuronilor este dezactivată temporar. Astfel, rețeaua nu se mai bazează pe conexiuni individuale și învață tipare mai robuste. Reduce supraînvățarea (overfitting), adică simpla memorare a datelor de antrenare. Când modelul finalizat este folosit ulterior, toți neuronii sunt din nou activi.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulSupraajustarea (overfitting) apare atunci când un model memorează datele de antrenare, inclusiv particularitățile întâmplătoare și zgomotul, în loc să surprindă tipare general valabile. Pare apoi foarte precis pe datele cunoscute, dar are performanțe slabe pe date noi. O diferență mare între eroarea de antrenare și cea de testare este un semn tipic. Contramăsurile includ mai multe date sau date mai variate, modele mai simple, regularizare, dropout și validare încrucișată.
Regularizarea cuprinde tehnici care împiedică un model să se potrivească prea strâns datelor sale de antrenare în timpul antrenării (supraajustare). Exemple sunt penalizarea ponderilor mari (regularizare L1 sau L2), dezactivarea aleatorie a neuronilor (dropout) sau oprirea antrenării la momentul potrivit (early stopping). Scopul este un model mai simplu, care funcționează mai fiabil pe date noi, nevăzute, chiar dacă obține un scor puțin mai mic pe datele de antrenare.
Rețelele neuronale artificiale (RNA) sunt modele de calcul formate din multe unități conectate („neuroni”), aranjate în straturi, care prelucrează intrările prin conexiuni ponderate. În timpul antrenării, ponderile sunt ajustate pas cu pas pe baza unor exemple, de obicei prin retropropagare. RNA stau la baza deep learning și alimentează recunoașterea imaginilor, recunoașterea vorbirii și modelele lingvistice de mari dimensiuni. În ciuda inspirației biologice, funcționează mult mai simplu decât creierul uman.
Normalizarea pe loturi (batch normalisation) este o tehnică de antrenare a rețelelor neuronale profunde care rescalează valorile intermediare ale unui strat, pentru fiecare lot de date, la o medie și o dispersie uniforme. Acest lucru face antrenarea mai stabilă și adesea mai rapidă, iar rețeaua devine mai puțin sensibilă la valorile inițiale. Introdusă în 2015, este frecventă în rețelele de recunoaștere a imaginilor; modelele transformer se bazează de obicei pe normalizarea pe straturi (layer normalisation), o tehnică înrudită.
