CS
Přihlásit seZačít
Glosář

Specialista na zajištění kvality AI

Co je Specialista na zajištění kvality AI?

Specialista na zajištění kvality AI kontroluje, zda aplikace AI fungují spolehlivě, správně a přiměřeně. Role zahrnuje testovací otázky a benchmarky, porovnávání různých modelů, analýzu hodnocení uživatelů a odhalování halucinací a zhoršování v čase. Například před přechodem na nový model se na 50 typických zákaznických dotazů odpoví oběma modely a odpovědi se porovnají podle pevných kritérií.

Jak pomáhá KI.ordo

V KI.ordo tuto práci podporují šablona „Porovnat modely (benchmark)“ a hodnocení odpovědí 👍/👎; hodnocení slouží ke zlepšení znalostí a pokynů, nikoli k trénování modelů.

Zjistit více : Specialista na zajištění kvality AI

Vhodné šablony

Témata

  • Kvalita
  • testování
  • Role

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Benchmarking

V oblasti AI znamená benchmarking systematické porovnávání modelů nebo systémů pomocí definovaných úloh a kritérií. Veřejné benchmarky měří například všeobecné znalosti, schopnost uvažování nebo programování; pro praktické použití jsou však nejdůležitější testovací případy z vaší vlastní každodenní práce. Typickými kritérii jsou přesnost, úplnost, doba odezvy a náklady. Pomáhá to rozhodnout, zda pro daný úkol stačí menší a levnější model.

  • Porovnání modelů
  • Evaluation
  • +1
Šablona

Halucinace

Halucinace je výstup modelu AI, který zní přesvědčivě, ale je nesprávný nebo zcela vymyšlený – například neexistující soudní rozhodnutí, nesprávné číslo nebo vymyšlený zdroj. Příčina: jazykové modely vytvářejí pravděpodobné formulace; fakta si automaticky nevyhledávají. Riziko klesá, když odpovědi vycházejí z ověřených zdrojů, dokládají se důkazy a důležité výsledky kontrolují lidé.

  • jazykové modely
  • spolehlivost
  • +1
Šablona

Přesnost a stabilita modelů AI

Přesnost popisuje, jak často model AI dává správné výsledky; stabilita popisuje, nakolik spolehlivě si tento výkon udrží – při mírně pozměněných vstupech, nových datech nebo v čase. Model může být při testování velmi přesný, a přesto nestabilní, pokud pouhé přeformulování otázky vede k jiné odpovědi. Pro reálné nasazení se obě vlastnosti ověřují pevnými testovacími případy, křížovou validací a průběžným monitorováním.

  • kvalita modelu
  • Robustnost
  • +1

Posun modelu (model drift)

Posun modelu je postupný pokles kvality předpovědí modelu za provozu, protože se realita oproti trénovacím datům mění. Rozlišuje se změna vstupních dat (data drift) a změna vztahu mezi vstupy a výsledky (concept drift). Příklad: model pro odhalování podvodů přehlédne nová podvodná schémata. Řešením je průběžné sledování metrik a pravidelné opakované trénování.

  • MLOps
  • kvalita modelu
  • +1