Interpretabilnost modela opisuje koliko dobro ljudi mogu razumjeti kako UI model dolazi do svojih rezultata. Jednostavne modele, poput stabala odlučivanja, po prirodi je lako pročitati; kod složenih neuronskih mreža mogu pomoći tehnike koje otkrivaju utjecaj pojedinih značajki. Interpretabilnost je važna za otklanjanje pogrešaka, povjerenje i regulatorne zahtjeve, primjerice kada treba obrazložiti odbijanje kredita.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoObjašnjivost (objašnjiva UI, XAI) opisuje koliko se dobro može razumjeti zašto je UI sustav došao do određenog rezultata. Obuhvaća metode koje pokazuju koji su unosi najviše utjecali na odluku, kao i praktična pomagala poput navođenja izvora i zapisnika. Objašnjivost je važna za povjerenje, otklanjanje pogrešaka i regulaciju – primjerice kada banka mora obrazložiti zašto je zahtjev odbijen.
Transparentnost UI-ja znači otkrivanje kada je UI uključen, na kojim se podacima i izvorima temelje njegovi rezultati i kako se donose odluke. To uključuje označavanje UI sadržaja, sljedive navode izvora, zapisnike i dokumentirane promjene. Transparentnost gradi povjerenje, olakšava otklanjanje pogrešaka i dijelom je propisana zakonom, primjerice obvezama transparentnosti iz Akta EU-a o umjetnoj inteligenciji, prema kojima ljudi trebaju moći prepoznati da komuniciraju s UI-jem.
Algoritamska transparentnost znači da je moguće razumjeti kako automatizirani sustav dolazi do rezultata: koje podatke koristi, koja pravila slijedi i gdje su mu granice. To gradi povjerenje, olakšava praćenje pogrešaka i sve je češće zakonski zahtjev, primjerice kroz obveze informiranja prema GDPR-u i Aktu EU-a o umjetnoj inteligenciji. U praksi pomažu dokumentacija, navođenje izvora, zapisi i jasne obavijesti za osobe na koje se to odnosi.
Stablo odlučivanja je model koji odluku prikazuje kao niz jednostavnih pitanja s odgovorom da/ne: svaka grana provjerava jedno obilježje, a svaki list daje ishod. U strojnom učenju takva se stabla automatski uče iz podataka i koriste za klasifikaciju ili predviđanje. Glavna im je prednost transparentnost – primjerice, pokazuju zašto je zahtjev za kredit označen na temelju prihoda, roka i povijesti plaćanja.
