SV
Logga inKom igång
Ordlista

Specialist på kvalitetssäkring av AI

Vad är Specialist på kvalitetssäkring av AI?

En specialist på kvalitetssäkring av AI kontrollerar om AI-applikationer fungerar tillförlitligt, korrekt och ändamålsenligt. Rollen omfattar testfrågor och benchmarks, jämförelser mellan olika modeller, analys av användarbetyg samt upptäckt av hallucinationer och försämring över tid. Till exempel besvaras, innan man byter till en ny modell, 50 typiska kundförfrågningar av båda modellerna och jämförs mot fasta kriterier.

Så hjälper KI.ordo

I KI.ordo stöder mallen ”Jämför modeller (benchmark)” och betygen 👍/👎 på svar detta arbete; betygen används för att förbättra kunskap och instruktioner, inte för att träna modeller.

Läs mer : Specialist på kvalitetssäkring av AI

Passande mallar

Ämnen

  • Kvalitet
  • Testning
  • Roll

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo
← Alla begrepp

Relaterade begrepp

Benchmarking

Inom AI innebär benchmarking att systematiskt jämföra modeller eller system med hjälp av definierade uppgifter och kriterier. Offentliga benchmarks mäter till exempel allmänkunskap, resonemangsförmåga eller programmeringsförmåga; för praktisk användning är dock testfall från den egna vardagen viktigast. Typiska kriterier är korrekthet, fullständighet, svarstid och kostnad. Det hjälper till att avgöra om en mindre, billigare modell räcker för en uppgift.

  • Modelljämförelse
  • Evaluation
  • +1
Mall

Hallucination

En hallucination är ett resultat från en AI-modell som låter övertygande men är felaktigt eller helt påhittat – som en domstolsdom som inte finns, en felaktig siffra eller en påhittad källa. Orsaken: språkmodeller producerar sannolika formuleringar; de slår inte automatiskt upp fakta. Risken minskar när svaren bygger på verifierade källor, belägg anges och människor kontrollerar viktiga resultat.

  • Språkmodeller
  • Tillförlitlighet
  • +1
Mall

Noggrannhet och stabilitet hos AI-modeller

Noggrannhet beskriver hur ofta en AI-modell ger korrekta resultat; stabilitet beskriver hur tillförlitligt den prestandan håller i sig – vid något ändrade indata, nya data eller över tid. En modell kan vara mycket noggrann i tester men instabil om det räcker att omformulera en fråga för att få ett annat svar. För praktisk användning kontrolleras båda egenskaperna med fasta testfall, korsvalidering och löpande övervakning.

  • Modellkvalitet
  • Robusthet
  • +1

Modelldrift

Modelldrift är den gradvisa försämringen av en modells prediktiva kvalitet under drift, eftersom verkligheten förändras jämfört med träningsdata. Man skiljer mellan förändringar i indata (datadrift) och förändringar i sambandet mellan indata och utfall (konceptdrift). Exempel: en modell för att upptäcka bedrägerier missar nya bedrägerimetoder. Åtgärder är löpande övervakning av mätvärden och regelbunden omträning.

  • MLOps
  • modellkvalitet
  • +1