A modell értelmezhetősége azt írja le, mennyire értik meg az emberek, hogyan jut egy MI-modell az eredményeihez. Az egyszerű modellek, például a döntési fák, eleve könnyen olvashatók; az összetett neurális hálózatoknál az egyes jellemzők hatását feltáró technikák segíthetnek. Az értelmezhetőség fontos a hibakereséshez, a bizalomhoz és a szabályozási követelményekhez, például amikor egy hitelkérelem elutasítását indokolni kell.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA magyarázhatóság (explainable AI, XAI) azt írja le, mennyire érthető, hogy egy MI-rendszer miért jutott egy adott eredményre. Ide tartoznak azok a módszerek, amelyek megmutatják, mely bemenetek befolyásoltak leginkább egy döntést, valamint gyakorlati segédeszközök, például a forrásmegjelölések és a naplók. A magyarázhatóság a bizalom, a hibaelhárítás és a szabályozás szempontjából fontos – például amikor egy banknak indokolnia kell, miért utasított el egy kérelmet.
Az MI-átláthatóság azt jelenti, hogy nyilvánosságra hozzák, mikor vesz részt MI, mely adatokra és forrásokra épülnek az eredményei, és hogyan születnek a döntések. Ide tartozik az MI-tartalom megjelölése, a nyomon követhető forrásmegjelölések, a naplók és a dokumentált módosítások. Az átláthatóság bizalmat épít, megkönnyíti a hibaelhárítást, és részben jogszabály is előírja, például az EU MI-rendeletének átláthatósági kötelezettségei, amelyek szerint az embereknek fel kell ismerniük, hogy MI-vel kommunikálnak.
Az algoritmikus átláthatóság azt jelenti, hogy megérthető, hogyan jut egy automatizált rendszer egy eredményre: milyen adatokat használ, milyen szabályokat követ, és hol vannak a korlátai. Ez bizalmat épít, megkönnyíti a hibák felderítését, és egyre inkább jogi követelmény is, például a GDPR és az EU MI-rendelet tájékoztatási kötelezettségei révén. A gyakorlatban a dokumentáció, a forrásmegjelölések, a naplók és az érintettek számára adott egyértelmű tájékoztatás segít.
A döntési fa olyan modell, amely a döntést egyszerű igen/nem kérdések sorozataként ábrázolja: minden ág egy jellemzőt vizsgál, és minden levél egy kimenetet ad. A gépi tanulásban az ilyen fákat az adatokból automatikusan tanulják meg, és osztályozásra vagy előrejelzésre használják. Fő erősségük az átláthatóság – például megmutatják, miért jelölt meg a rendszer egy hitelkérelmet a jövedelem, a futamidő és a fizetési előzmények alapján.
