Fogalomtár

Regularizáció

Mi a(z) Regularizáció?

A regularizáció olyan technikákat foglal magában, amelyek megakadályozzák, hogy a modell a tanítás során túlságosan szorosan illeszkedjen a tanítóadataihoz (túlillesztés). Ilyen például a nagy súlyok büntetése (L1- vagy L2-regularizáció), a neuronok véletlenszerű kikapcsolása (dropout) vagy a tanítás megfelelő időpontban történő leállítása (early stopping). A cél egy egyszerűbb modell, amely megbízhatóbban teljesít új, ismeretlen adatokon, még ha a tanítóadatokon kissé gyengébb eredményt ér is el.

Témák

tanítás
túlillesztés
modellminőség

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Overfitting

A túlillesztés (overfitting) akkor lép fel, amikor a modell megjegyzi a tanítóadatokat – a véletlen sajátosságokkal és a zajjal együtt –, ahelyett hogy általánosan érvényes mintákat ragadna meg. Ilyenkor az ismert adatokon nagyon pontosnak tűnik, az új adatokon viszont gyengén teljesít. A tanítási és a tesztelési hiba közötti nagy különbség tipikus jel. Ellenszerek: több vagy változatosabb adat, egyszerűbb modellek, regularizáció, dropout és keresztvalidáció.

modellminőség
tanítás
+1

Dropout

A dropout a neurális hálók tanításánál alkalmazott regularizációs technika: minden tanítási lépésben a neuronok egy véletlenszerű hányadát ideiglenesen kikapcsolják. Ez megakadályozza, hogy a háló egyes kapcsolatokra támaszkodjon, így robusztusabb mintázatokat tanul. Csökkenti a túlillesztést, vagyis azt, hogy a háló pusztán megjegyzi a tanítóadatokat. A kész modell későbbi használatakor minden neuron újra aktív.

tanítás
regularizáció
+1

Általánosítási hiba

Az általánosítási hiba azt méri, mekkora a tévedése egy MI-modellnek új, korábban nem látott adatokon – a tanítóadatokon mért hibájától megkülönböztetve. A kettő közötti nagy különbség túlillesztésre utal: a modell példákat jegyzett meg ahelyett, hogy általános mintázatokat tanult volna. Visszatartott tesztadatokkal vagy keresztvalidálással becsülik. Ez a valóban számító érték, mert a gyakorlatban a modell szinte csak új esetekkel találkozik.

Gépi tanulás
Modellértékelés
+1

Underfitting

Az alulillesztés (underfitting) akkor lép fel, ha a modell túl egyszerű ahhoz, hogy megragadja az adatokban rejlő összefüggéseket. Ilyenkor a tanítóadatokon és az új adatokon is sok hibát vét, például ha egyenest használnak egy egyértelműen ívelt minta ábrázolására. Orvoslás: erősebb modell, informatívabb jellemzők, hosszabb tanítás vagy kevesebb regularizáció; az ellenkező probléma a túlillesztés.

Gépi tanulás
modellminőség
+1