LT
PrisijungtiPradėti
Terminų žodynas

DI kokybės užtikrinimo specialistas

Kas yra DI kokybės užtikrinimo specialistas?

DI kokybės užtikrinimo specialistas tikrina, ar DI taikomosios programos veikia patikimai, teisingai ir tinkamai. Šis vaidmuo apima testinius klausimus ir etalonus, skirtingų modelių palyginimą, naudotojų įvertinimų analizę bei haliucinacijų ir laikui bėgant atsirandančio kokybės blogėjimo pastebėjimą. Pavyzdžiui, prieš pereinant prie naujo modelio, 50 tipinių klientų užklausų atsako abu modeliai ir jie palyginami pagal nustatytus kriterijus.

Kaip padeda KI.ordo

KI.ordo šį darbą palaiko šablonas „Palyginti modelius (etalonas)“ ir atsakymų įvertinimai 👍/👎; įvertinimai naudojami žinioms ir nurodymams gerinti, o ne modeliams mokyti.

Sužinoti daugiau : DI kokybės užtikrinimo specialistas

Tinkami šablonai

Temos

  • Kokybė
  • testavimas
  • Vaidmuo

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Benchmarking

DI srityje lyginamasis testavimas (benchmarking) reiškia sistemingą modelių ar sistemų palyginimą naudojant apibrėžtas užduotis ir kriterijus. Vieši lyginamieji testai matuoja, pavyzdžiui, bendrąsias žinias, samprotavimą ar programavimo gebėjimus; tačiau praktiniam naudojimui svarbiausi yra testiniai atvejai iš jūsų kasdienio darbo. Įprasti kriterijai – tikslumas, išsamumas, atsakymo laikas ir kaina. Tai padeda nuspręsti, ar mažesnio, pigesnio modelio užduočiai pakanka.

  • Modelių palyginimas
  • Evaluation
  • +1
Šablonas

Haliucinacija

Haliucinacija – tai DI modelio rezultatas, kuris skamba įtikinamai, bet yra klaidingas arba visiškai išgalvotas – pavyzdžiui, neegzistuojantis teismo sprendimas, neteisingas skaičius ar išgalvotas šaltinis. Priežastis: kalbos modeliai kuria tikėtinas formuluotes, o ne automatiškai ieško faktų. Rizika mažėja, kai atsakymai grindžiami patikrintais šaltiniais, nurodomi įrodymai, o svarbius rezultatus tikrina žmonės.

  • kalbos modeliai
  • patikimumas
  • +1
Šablonas

DI modelių tikslumas ir stabilumas

Tikslumas apibūdina, kaip dažnai DI modelis pateikia teisingus rezultatus; stabilumas – kaip patikimai ši kokybė išlieka – esant šiek tiek pakeistiems įvesties duomenims, naujiems duomenims ar laikui bėgant. Modelis gali būti labai tikslus per testus, bet nestabilus, jei vien perfrazavus klausimą pateikiamas kitas atsakymas. Realiam naudojimui abi savybės tikrinamos pastoviais testiniais atvejais, kryžminiu patvirtinimu ir nuolatine stebėsena.

  • modelio kokybė
  • Atsparumas
  • +1

Modelio dreifas

Modelio dreifas – tai pamažu menkstanti modelio prognozių kokybė naudojimo metu, nes tikrovė keičiasi, palyginti su mokymo duomenimis. Skiriami įvesties duomenų pokyčiai (duomenų dreifas) ir ryšio tarp įvesties ir rezultatų pokyčiai (koncepcijos dreifas). Pavyzdys: sukčiavimo aptikimo modelis nepastebi naujų sukčiavimo schemų. Padeda nuolatinė metrikų stebėsena ir reguliarus permokymas.

  • MLOps
  • modelio kokybė
  • +1