Интерпретируемостта на модела описва доколко хората могат да разберат как моделът с ИИ стига до своите резултати. Простите модели, като дърветата на решенията, по същество са лесни за четене; при сложните невронни мрежи могат да помогнат техники, които показват влиянието на отделните признаци. Интерпретируемостта е важна за отстраняване на грешки, за доверието и за регулаторните изисквания, например когато отказът на кредит трябва да бъде обоснован.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоОбяснимостта (обясним ИИ, explainable AI, XAI) описва доколко може да се разбере защо една ИИ система е стигнала до определен резултат. Тя включва методи, които показват кои входни данни са повлияли най-силно на решението, както и практически помощни средства като сочене на източници и дневници. Обяснимостта е важна за доверието, за отстраняването на грешки и за регулирането – например когато банка трябва да обоснове защо е отказала заявление.
Прозрачността на ИИ означава да се разкрива кога участва ИИ, на какви данни и източници се основават резултатите му и как се стига до решенията. Това включва маркиране на съдържание, генерирано от ИИ, проследими препратки към източници, дневници и документирани промени. Прозрачността създава доверие, улеснява отстраняването на грешки и отчасти се изисква от закона, например от задълженията за прозрачност на Акта на ЕС за изкуствения интелект, според които хората трябва да могат да разберат, че взаимодействат с ИИ.
Алгоритмичната прозрачност означава, че може да се разбере как автоматизирана система достига до резултат: какви данни използва, какви правила следва и къде са границите ѝ. Това изгражда доверие, улеснява проследяването на грешки и все по-често е законово изискване, например чрез задълженията за информиране по ОРЗД и Акта на ЕС за изкуствения интелект. На практика помагат документация, посочване на източници, записи и ясни известия за засегнатите лица.
Дървото на решенията е модел, който представя едно решение като поредица от прости въпроси с отговор „да/не“: всеки клон проверява един признак, а всеки лист дава резултат. В машинното обучение такива дървета се учат автоматично от данни и се използват за класификация или прогнозиране. Основната им сила е прозрачността – например показват защо дадено кредитно искане е отбелязано въз основа на доход, срок и история на плащанията.
