Backpropagation (propagarea înapoi a erorii) este metoda standard prin care învață rețelele neuronale. După fiecare predicție, eroarea este măsurată și propagată înapoi prin straturile rețelei, arătând cât a contribuit fiecare pondere la aceasta. O metodă de optimizare, precum coborârea pe gradient, ajustează apoi ponderile pas cu pas. Fără backpropagation, antrenarea modelelor actuale de limbaj și de imagine ar fi practic imposibilă.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulCoborârea pe gradient este metoda de optimizare cu care sunt antrenate majoritatea modelelor IA. Se măsoară cât de mare este eroarea modelului, se calculează în ce direcție trebuie modificați parametrii pentru a o reduce și apoi se face un pas mic în acea direcție – iar și iar. Este ca un drumeț în ceață care merge mereu la vale pentru a ajunge în vale. Mărimea pasului (rata de învățare) determină viteza și stabilitatea.
Rețelele neuronale artificiale (RNA) sunt modele de calcul formate din multe unități conectate („neuroni”), aranjate în straturi, care prelucrează intrările prin conexiuni ponderate. În timpul antrenării, ponderile sunt ajustate pas cu pas pe baza unor exemple, de obicei prin retropropagare. RNA stau la baza deep learning și alimentează recunoașterea imaginilor, recunoașterea vorbirii și modelele lingvistice de mari dimensiuni. În ciuda inspirației biologice, funcționează mult mai simplu decât creierul uman.
Funcțiile de activare determină cât de puternic își transmite semnalul un neuron dintr-o rețea neuronală artificială. Ele introduc neliniaritatea – abia astfel rețeaua poate reprezenta relații complexe, precum limbajul sau imaginile. Exemple obișnuite sunt ReLU, care transformă valorile negative în zero, sigmoida pentru probabilități între 0 și 1 și GELU, utilizată în multe modele transformer. Alegerea influențează viteza și stabilitatea antrenării.
Entropia încrucișată (cross-entropy) este o măsură din teoria informației care arată cât de mult se abate o distribuție de probabilitate prezisă de la cea reală. În machine learning, este cea mai frecventă funcție de pierdere pentru sarcinile de clasificare și, de asemenea, pentru modelele lingvistice care prezic următorul token. Penalizează deosebit de sever predicțiile greșite făcute cu încredere: atribuirea a 99% clasei greșite duce la o pierdere mult mai mare decât atribuirea a 60%.
