SL
PrijavaZačnite zdaj
Slovar pojmov

Benchmarking

Kaj je Benchmarking?

Primerjalno testiranje (benchmarking) na področju UI pomeni sistematično primerjanje modelov ali sistemov z opredeljenimi nalogami in merili. Javna primerjalna merila merijo na primer splošno znanje, sklepanje ali programerske sposobnosti; za praktično uporabo pa so najpomembnejši testni primeri iz lastnega vsakdanjega dela. Tipična merila so pravilnost, popolnost, odzivni čas in stroški. To pomaga odločiti, ali je manjši, cenejši model za nalogo dovolj dober.

Kako pomaga KI.ordo

Predloga KI.ordo „Primerjava modelov (benchmark)“ isto nalogo pošlje modelu Claude Haiku in modelu Claude Sonnet ter oba odgovora oceni glede pravilnosti, popolnosti in jasnosti.

Več o tem : Benchmarking

Ustrezne predloge

Teme

  • Primerjava modelov
  • Evaluation
  • Kakovost

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Točnost in stabilnost modelov UI

Točnost opisuje, kako pogosto model UI daje pravilne rezultate; stabilnost opisuje, kako zanesljivo ta zmogljivost ostaja – ob rahlo spremenjenih vnosih, z novimi podatki ali skozi čas. Model je lahko pri preizkusu zelo točen, a nestabilen, če že preoblikovanje vprašanja vodi do drugačnega odgovora. Za uporabo v praksi se obe lastnosti preverjata s fiksnimi testnimi primeri, navzkrižnim preverjanjem in stalnim spremljanjem.

  • Kakovost modela
  • Robustnost
  • +1

Strokovnjak za zagotavljanje kakovosti UI

Strokovnjak za zagotavljanje kakovosti UI preverja, ali aplikacije UI delujejo zanesljivo, pravilno in primerno. Vloga vključuje testna vprašanja in primerjalne teste, primerjavo različnih modelov, analizo ocen uporabnikov ter odkrivanje halucinacij in poslabšanja skozi čas. Na primer: preden preidete na nov model, na 50 tipičnih povpraševanj strank odgovorita oba modela in se primerjata glede na določena merila.

  • Kakovost
  • Testiranje
  • +1
Predloga

Stroški LLM

Stroški velikih jezikovnih modelov se običajno obračunavajo po tokenih, tj. besedilnih enotah, ki so velike približno kot zlog do beseda; vhodni in izhodni tokeni se obračunavajo posebej, izhodni so praviloma dražji. Večji modeli stanejo na token več kot majhni, hitri modeli, kot je Claude Haiku, ki so za preprostejše naloge pogosto dovolj. Predpomnjenje ukazov (prompt caching) zniža stroške, kadar se isti dolgi kontekst pošilja večkrat. Pomagajo tudi jedrnata navodila in skrbno izbrano znanje.

  • Stroški
  • Tokens
  • +1

Ocena BLEU

Ocena BLEU (Bilingual Evaluation Understudy) je metrika, razvita pri IBM leta 2002 za samodejno vrednotenje strojnih prevodov. Meri, koliko zaporedij besed v prevodu se pojavi tudi v enem ali več človeških referenčnih prevodih, in poda vrednost med 0 in 1 (pogosto prikazano kot 0–100). BLEU je hiter in primerljiv, vendar slabo zajame pomen in slog – dobre parafraze so lahko slabo ocenjene.

  • Evaluation
  • Prevajanje
  • +1