Fogalomtár

MI-modellek pontossága és stabilitása

Mi a(z) MI-modellek pontossága és stabilitása?

A pontosság azt írja le, milyen gyakran ad helyes eredményt egy MI-modell; a stabilitás azt, mennyire megbízhatóan marad meg ez a teljesítmény – kissé módosított bemenetnél, új adatoknál vagy az idő múlásával. Egy modell tesztben lehet nagyon pontos, mégis instabil, ha már a kérdés átfogalmazása is más választ eredményez. A valós használathoz mindkét tulajdonságot rögzített tesztesetekkel, keresztvalidálással és folyamatos monitorozással ellenőrzik.

Témák

modellminőség
Robusztusság
Evaluation

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Modellrobusztusság

A modellrobusztusság azt írja le, mennyire megbízhatóan teljesít egy MI-modell, ha a bemenetek zajosak, hiányosak, szokatlanok vagy szándékosan manipuláltak. Egy robusztus modell ilyenkor is stabil eredményeket ad, például rossz fényviszonyok mellett végzett képfelismerésnél, vagy amikor egy nyelvi modell elírásokat kezel. A robusztusságot terheléses tesztekkel, változatos tanítóadatokkal és szándékos megtévesztési kísérletek elleni tesztekkel értékelik, és különösen fontos a biztonságkritikus alkalmazásokban.

megbízhatóság
modellminőség
+1

Modelleltolódás

A modelleltolódás a modell előrejelzési minőségének fokozatos romlása működés közben, mert a valóság a tanítóadatokhoz képest megváltozik. Megkülönböztetünk a bemeneti adatok változását (adateltolódás, data drift) és a bemenetek és az eredmények közötti összefüggés változását (koncepcióeltolódás, concept drift). Példa: egy csalásfelismerő modell nem veszi észre az új csalási módszereket. Ellenszer a mérőszámok folyamatos monitorozása és a rendszeres újratanítás.

MLOps
modellminőség
+1

Keresztvalidáció

A keresztvalidáció olyan módszer, amellyel ellenőrizhető, mennyire jól általánosít egy modell új, nem látott adatokra. A k-szoros keresztvalidációban az adatokat k részre osztják; a modellt k alkalommal tanítják k−1 részen, és minden alkalommal a megmaradt részen tesztelik, majd az eredményeket átlagolják. Ez segít felismerni a túlillesztést, és tisztességesen összehasonlítani modelleket vagy beállításokat, különösen kevés adat esetén.

Modellértékelés
validálás
+1

Benchmarking

Az MI területén a benchmarking modellek vagy rendszerek szisztematikus összehasonlítását jelenti meghatározott feladatok és szempontok alapján. A nyilvános benchmarkok például az általános tudást, a következtetési képességet vagy a programozási tudást mérik; a gyakorlati használat szempontjából azonban a saját mindennapi munkából vett tesztesetek a legfontosabbak. Jellemző szempont a pontosság, a teljesség, a válaszidő és a költség. Ez segít eldönteni, hogy egy kisebb, olcsóbb modell elég jó-e egy feladathoz.

Modell-összehasonlítás
Evaluation
+1

Sablon