A modelleltolódás a modell előrejelzési minőségének fokozatos romlása működés közben, mert a valóság a tanítóadatokhoz képest megváltozik. Megkülönböztetünk a bemeneti adatok változását (adateltolódás, data drift) és a bemenetek és az eredmények közötti összefüggés változását (koncepcióeltolódás, concept drift). Példa: egy csalásfelismerő modell nem veszi észre az új csalási módszereket. Ellenszer a mérőszámok folyamatos monitorozása és a rendszeres újratanítás.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA modellrobusztusság azt írja le, mennyire megbízhatóan teljesít egy MI-modell, ha a bemenetek zajosak, hiányosak, szokatlanok vagy szándékosan manipuláltak. Egy robusztus modell ilyenkor is stabil eredményeket ad, például rossz fényviszonyok mellett végzett képfelismerésnél, vagy amikor egy nyelvi modell elírásokat kezel. A robusztusságot terheléses tesztekkel, változatos tanítóadatokkal és szándékos megtévesztési kísérletek elleni tesztekkel értékelik, és különösen fontos a biztonságkritikus alkalmazásokban.
A tanítóadatok azok a példák, amelyekből egy MI-modell mintákat tanul: nagy szöveggyűjtemények a nyelvi modellekhez, címkézett képek a képi modellekhez. Minőségük, sokféleségük és aktualitásuk nagyban meghatározza, mennyire megbízható és igazságos egy modell, és mennyire naprakész a tudása. A szervezetek számára az is számít, hogy a szolgáltató a megadott ügyféladatokat felhasználja-e további tanításhoz.
Az MLflow egy nyílt forráskódú platform a gépi tanulási modellek teljes életciklusának kezelésére; eredetileg a Databricks mutatta be 2018-ban. Rögzíti a kísérleteket paramétereikkel és mérőszámaikkal együtt, a modellverziókat egy nyilvántartásban kezeli, és egyszerűsíti az üzembe helyezést. Az újabb verziók a nyelvi modellekre épülő alkalmazások nyomon követését (tracing) és kiértékelését is támogatják. A csapatok így vissza tudják követni, melyik modell milyen adatokkal és beállításokkal készült.
A pontosság azt írja le, milyen gyakran ad helyes eredményt egy MI-modell; a stabilitás azt, mennyire megbízhatóan marad meg ez a teljesítmény – kissé módosított bemenetnél, új adatoknál vagy az idő múlásával. Egy modell tesztben lehet nagyon pontos, mégis instabil, ha már a kérdés átfogalmazása is más választ eredményez. A valós használathoz mindkét tulajdonságot rögzített tesztesetekkel, keresztvalidálással és folyamatos monitorozással ellenőrzik.
