Glosář

Diskriminace v AI

Co je Diskriminace v AI?

K diskriminaci v AI dochází, když systém s AI bezdůvodně znevýhodňuje lidi na základě vlastností, jako jsou pohlaví, etnický původ, věk nebo zdravotní postižení. Příčinou bývají obvykle zkreslená trénovací data, nevhodné zástupné rysy, například PSČ, nebo nedostatečné testování; známé případy pocházejí z náboru zaměstnanců a poskytování úvěrů. Protiopatřením jsou reprezentativní data, pravidelné testování férovosti, transparentnost a lidský dohled nad rozhodnutími o lidech.

Jak pomáhá KI.ordo

V projektech KI.ordo agenti dodávají návrhy, které lidé zkontrolují a schválí.

Témata

férovost
zkreslení (bias)
Etika AI

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

Bias

V oblasti AI označuje bias (zkreslení) systematické zkreslení výsledků. Často pramení z nevyvážených nebo historicky zkreslených trénovacích dat, ale také z návrhu modelu nebo ze způsobu, jakým je otázka formulována. Známý příklad: nástroj pro předvýběr uchazečů, který se učí z minulých rozhodnutí o přijetí, může prohlubovat existující znevýhodnění. Ve statistice bias znamená také odchylku odhadu od skutečné hodnoty. K protiopatřením patří rozmanitá data, pravidelné audity a lidská rozhodnutí v personálních záležitostech.

Etika AI
Fairness
+1

Etika AI

Etika AI se zabývá morálními otázkami kolem vývoje a využívání AI: férovostí a diskriminací, transparentností a vysvětlitelností, ochranou údajů, odpovědností za chyby, bezpečností a dopady na práci a společnost. Pro organizace se konkretizuje v zásadách, posouzeních rizik, lidském dohledu a otevřené komunikaci o omezeních AI. Příklad: před zavedením nástroje pro třídění životopisů se ověří, zda neznevýhodňuje určité skupiny.

etika
Příslušnost
+1

Vysvětlitelnost

Vysvětlitelnost (explainable AI, XAI) popisuje, nakolik lze pochopit, proč systém s AI dospěl ke konkrétnímu výsledku. Zahrnuje metody, které ukazují, jaké vstupy rozhodnutí ovlivnily nejvíce, i praktické pomůcky, jako jsou odkazy na zdroje a protokoly. Vysvětlitelnost je důležitá pro důvěru, hledání chyb i regulaci – například když banka musí zdůvodnit, proč žádost zamítla.

XAI
Transparentnost
+1

Člověk ve smyčce (human-in-the-loop)

Human-in-the-loop (člověk ve smyčce) popisuje pracovní postupy, v nichž lidé v definovaných bodech vstupují do procesu AI: kontrolují výsledky, schvalují je nebo opravují, případně přebírají obtížné případy. Princip snižuje riziko chybných výstupů a ponechává odpovědnost lidem, zejména u rozhodnutí týkajících se jednotlivců, peněz nebo právních záležitostí. Příklad: agent AI připraví návrhy odpovědí na zákaznické dotazy a zaměstnanec je před odesláním zkontroluje.

schválení
dohled
+1