Речник

Дискриминация в ИИ

Какво е Дискриминация в ИИ?

Дискриминация в ИИ има, когато една ИИ система неоправдано поставя хората в неблагоприятно положение въз основа на характеристики като пол, етнически произход, възраст или увреждане. Причините обикновено са изкривени обучителни данни, неподходящи заместващи признаци като пощенски кодове или липса на тестване; известни случаи има при подбора на персонал и кредитирането. Мерките включват представителни данни, редовно тестване за справедливост, прозрачност и човешки надзор над решенията, засягащи хора.

Как помага KI.ordo

В проектите в KI.ordo агентите предоставят чернови, които хората преглеждат и одобряват.

Теми

справедливост
пристрастие
Етика на ИИ

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Bias

В областта на ИИ пристрастието (bias) означава систематично изкривяване на резултатите. То често произтича от небалансирани или исторически изкривени обучителни данни, но и от устройството на модела или от начина, по който е зададен въпросът. Известен пример: инструмент за подбор на кандидати, който се учи от минали решения за наемане, може да затвърди съществуващи неравнопоставености. В статистиката терминът означава и отклонението на една оценка от истинската стойност. Мерките за противодействие включват разнообразни данни, редовни одити и човешки решения по кадрови въпроси.

Етика на ИИ
Fairness
+1

Етика на ИИ

Етиката на ИИ се занимава с моралните въпроси около разработването и използването на ИИ: справедливост и дискриминация, прозрачност и обяснимост, защита на данните, отговорност за грешки, безопасност и последици за труда и обществото. За организациите тя става конкретна в насоки, оценки на риска, човешки надзор и честна комуникация за ограниченията на ИИ. Пример: преди да бъде въведен инструмент за подбор на автобиографии, той се проверява дали не поставя в неблагоприятно положение определени групи.

Етика
Отговорност
+1

Обяснимост

Обяснимостта (обясним ИИ, explainable AI, XAI) описва доколко може да се разбере защо една ИИ система е стигнала до определен резултат. Тя включва методи, които показват кои входни данни са повлияли най-силно на решението, както и практически помощни средства като сочене на източници и дневници. Обяснимостта е важна за доверието, за отстраняването на грешки и за регулирането – например когато банка трябва да обоснове защо е отказала заявление.

XAI
Прозрачност
+1

Човек в цикъла (human-in-the-loop)

Човек в цикъла (human-in-the-loop) описва работни процеси, при които хора се включват в ИИ процес на определени точки: преглеждат резултатите, одобряват ги или ги коригират, или поемат трудните случаи. Принципът намалява риска от погрешни резултати и оставя отговорността на хората, особено при решения, засягащи отделни лица, пари или правни въпроси. Пример: ИИ агент изготвя отговори на запитвания на клиенти, а служител ги проверява, преди да бъдат изпратени.

Одобрение
Надзор
+1