A keresztvalidáció olyan módszer, amellyel ellenőrizhető, mennyire jól általánosít egy modell új, nem látott adatokra. A k-szoros keresztvalidációban az adatokat k részre osztják; a modellt k alkalommal tanítják k−1 részen, és minden alkalommal a megmaradt részen tesztelik, majd az eredményeket átlagolják. Ez segít felismerni a túlillesztést, és tisztességesen összehasonlítani modelleket vagy beállításokat, különösen kevés adat esetén.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA túlillesztés (overfitting) akkor lép fel, amikor a modell megjegyzi a tanítóadatokat – a véletlen sajátosságokkal és a zajjal együtt –, ahelyett hogy általánosan érvényes mintákat ragadna meg. Ilyenkor az ismert adatokon nagyon pontosnak tűnik, az új adatokon viszont gyengén teljesít. A tanítási és a tesztelési hiba közötti nagy különbség tipikus jel. Ellenszerek: több vagy változatosabb adat, egyszerűbb modellek, regularizáció, dropout és keresztvalidáció.
Az általánosítási hiba azt méri, mekkora a tévedése egy MI-modellnek új, korábban nem látott adatokon – a tanítóadatokon mért hibájától megkülönböztetve. A kettő közötti nagy különbség túlillesztésre utal: a modell példákat jegyzett meg ahelyett, hogy általános mintázatokat tanult volna. Visszatartott tesztadatokkal vagy keresztvalidálással becsülik. Ez a valóban számító érték, mert a gyakorlatban a modell szinte csak új esetekkel találkozik.
A hiperparaméterek a modell tanítása előtt rögzített beállítások, például a tanulási ráta, a rétegek száma vagy a regularizáció erőssége. A hiperparaméter-optimalizálás szisztematikusan keresi azt a kombinációt, amely a validációs adatokon a legjobban teljesít, például rácskereséssel, véletlen kereséssel vagy bayesi optimalizálással. A jól megválasztott értékek javítják a pontosságot, és csökkentik a túl- vagy alulillesztést, de a keresés számítási időbe kerül.
A tanítóadatok azok a példák, amelyekből egy MI-modell mintákat tanul: nagy szöveggyűjtemények a nyelvi modellekhez, címkézett képek a képi modellekhez. Minőségük, sokféleségük és aktualitásuk nagyban meghatározza, mennyire megbízható és igazságos egy modell, és mennyire naprakész a tudása. A szervezetek számára az is számít, hogy a szolgáltató a megadott ügyféladatokat felhasználja-e további tanításhoz.
