DA
Log indKom i gang
Ordliste

AI-kvalitetssikringsspecialist

Hvad er AI-kvalitetssikringsspecialist?

En AI-kvalitetssikringsspecialist kontrollerer, om AI-applikationer fungerer pålideligt, korrekt og hensigtsmæssigt. Rollen omfatter testspørgsmål og benchmarks, sammenligning af forskellige modeller, analyse af brugervurderinger samt opsporing af hallucinationer og forringelse over tid. For eksempel besvares 50 typiske kundehenvendelser af begge modeller før et skift til en ny model og sammenlignes med faste kriterier.

Sådan hjælper KI.ordo

I KI.ordo understøtter skabelonen »Sammenlign modeller (benchmark)« og 👍/👎-vurderinger af svar dette arbejde; vurderingerne bruges til at forbedre viden og instruktioner, ikke til at træne modeller.

Læs mere : AI-kvalitetssikringsspecialist

Matchende skabeloner

Emner

  • Kvalitet
  • Test
  • Rolle

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Benchmarking

Inden for AI betyder benchmarking en systematisk sammenligning af modeller eller systemer ud fra definerede opgaver og kriterier. Offentlige benchmarks måler for eksempel almen viden, ræsonnement eller programmeringsevner; til praktisk brug er testcases fra din egen hverdag dog det vigtigste. Typiske kriterier er nøjagtighed, fuldstændighed, svartid og omkostninger. Det hjælper med at afgøre, om en mindre og billigere model er god nok til en opgave.

  • Modelsammenligning
  • Evaluation
  • +1
Skabelon

Hallucination

En hallucination er output fra en AI-model, der lyder overbevisende, men er forkert eller helt opdigtet – f.eks. en ikke-eksisterende retsafgørelse, et forkert tal eller en opfundet kilde. Årsagen: Sprogmodeller frembringer sandsynlige formuleringer; de slår ikke automatisk fakta op. Risikoen falder, når svarene bygger på verificerede kilder, dokumentation angives, og mennesker kontrollerer vigtige resultater.

  • Sprogmodeller
  • Pålidelighed
  • +1
Skabelon

Nøjagtighed og stabilitet i AI-modeller

Nøjagtighed beskriver, hvor ofte en AI-model giver korrekte resultater; stabilitet beskriver, hvor pålideligt denne ydeevne holder – ved let ændrede input, nye data eller over tid. En model kan være meget nøjagtig i test og alligevel ustabil, hvis blot en omformulering af et spørgsmål giver et andet svar. Ved brug i praksis kontrolleres begge egenskaber med faste testcases, krydsvalidering og løbende overvågning.

  • Modelkvalitet
  • Robusthed
  • +1

Modeldrift

Modeldrift er den gradvise forringelse af en models forudsigelseskvalitet under drift, fordi virkeligheden ændrer sig i forhold til træningsdataene. Man skelner mellem ændringer i inputdataene (data drift) og ændringer i sammenhængen mellem input og resultater (concept drift). Eksempel: en model til opdagelse af svindel overser nye svindelmetoder. Afhjælpning sker ved løbende overvågning af målinger og regelmæssig gentræning.

  • MLOps
  • modelkvalitet
  • +1