SK
Prihlásiť saZačať
Slovník pojmov

Špecialista na zabezpečenie kvality AI

Čo je Špecialista na zabezpečenie kvality AI?

Špecialista na zabezpečenie kvality AI kontroluje, či aplikácie AI fungujú spoľahlivo, správne a vhodne. Rola zahŕňa testovacie otázky a benchmarky, porovnávanie rôznych modelov, analýzu hodnotení používateľov a odhaľovanie halucinácií a zhoršovania v čase. Napríklad pred prechodom na nový model sa na 50 typických dopytov zákazníkov odpovie oboma modelmi a porovná sa to podľa pevných kritérií.

Ako pomáha KI.ordo

V KI.ordo túto prácu podporujú šablóna „Porovnať modely (benchmark)“ a hodnotenia odpovedí 👍/👎; hodnotenia sa používajú na zlepšovanie znalostí a pokynov, nie na trénovanie modelov.

Zistiť viac : Špecialista na zabezpečenie kvality AI

Vhodné šablóny

Témy

  • Kvalita
  • testovanie
  • Rola

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Benchmarking

Benchmarking v oblasti AI znamená systematické porovnávanie modelov alebo systémov pomocou definovaných úloh a kritérií. Verejné benchmarky merajú napríklad všeobecné znalosti, uvažovanie alebo schopnosť programovať; pre praktické použitie sú však najdôležitejšie testovacie prípady z vlastnej každodennej práce. Typickými kritériami sú správnosť, úplnosť, čas odozvy a náklady. Pomáha to rozhodnúť, či na úlohu stačí menší a lacnejší model.

  • Porovnanie modelov
  • Evaluation
  • +1
Šablóna

Halucinácia

Halucinácia je výstup modelu AI, ktorý znie presvedčivo, ale je nesprávny alebo úplne vymyslený – napríklad neexistujúci súdny rozsudok, nesprávne číslo alebo vymyslený zdroj. Príčina: jazykové modely vytvárajú pravdepodobné formulácie; fakty automaticky nevyhľadávajú. Riziko klesá, keď sa odpovede opierajú o overené zdroje, uvádzajú sa dôkazy a ľudia kontrolujú dôležité výsledky.

  • jazykové modely
  • spoľahlivosť
  • +1
Šablóna

Presnosť a stabilita modelov AI

Presnosť opisuje, ako často model AI vytvára správne výsledky; stabilita opisuje, nakoľko spoľahlivo si tento výkon udrží – pri mierne zmenených vstupoch, nových údajoch alebo v čase. Model môže byť pri testovaní veľmi presný, no nestabilný, ak už samotné preformulovanie otázky vedie k inej odpovedi. Pre reálne nasadenie sa obe vlastnosti overujú pevnými testovacími prípadmi, krížovou validáciou a priebežným monitorovaním.

  • kvalita modelu
  • Robustnosť
  • +1

Model drift

Model drift je postupný pokles kvality predikcií modelu počas prevádzky, pretože sa realita oproti trénovacím dátam mení. Rozlišujeme zmeny vo vstupných dátach (data drift) a zmeny vzťahu medzi vstupmi a výsledkami (concept drift). Príklad: model na odhaľovanie podvodov prehliadne nové podvodné schémy. Nápravou je priebežné monitorovanie metrík a pravidelné pretrénovanie.

  • MLOps
  • kvalita modelu
  • +1