SK
Prihlásiť saZačať
Slovník pojmov

Benchmarking

Čo je Benchmarking?

Benchmarking v oblasti AI znamená systematické porovnávanie modelov alebo systémov pomocou definovaných úloh a kritérií. Verejné benchmarky merajú napríklad všeobecné znalosti, uvažovanie alebo schopnosť programovať; pre praktické použitie sú však najdôležitejšie testovacie prípady z vlastnej každodennej práce. Typickými kritériami sú správnosť, úplnosť, čas odozvy a náklady. Pomáha to rozhodnúť, či na úlohu stačí menší a lacnejší model.

Ako pomáha KI.ordo

Šablóna KI.ordo „Porovnať modely (benchmark)“ pošle rovnakú úlohu modelu Claude Haiku a modelu Claude Sonnet a obe odpovede ohodnotí z hľadiska správnosti, úplnosti a zrozumiteľnosti.

Zistiť viac : Benchmarking

Vhodné šablóny

Témy

  • Porovnanie modelov
  • Evaluation
  • Kvalita

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Presnosť a stabilita modelov AI

Presnosť opisuje, ako často model AI vytvára správne výsledky; stabilita opisuje, nakoľko spoľahlivo si tento výkon udrží – pri mierne zmenených vstupoch, nových údajoch alebo v čase. Model môže byť pri testovaní veľmi presný, no nestabilný, ak už samotné preformulovanie otázky vedie k inej odpovedi. Pre reálne nasadenie sa obe vlastnosti overujú pevnými testovacími prípadmi, krížovou validáciou a priebežným monitorovaním.

  • kvalita modelu
  • Robustnosť
  • +1

Špecialista na zabezpečenie kvality AI

Špecialista na zabezpečenie kvality AI kontroluje, či aplikácie AI fungujú spoľahlivo, správne a vhodne. Rola zahŕňa testovacie otázky a benchmarky, porovnávanie rôznych modelov, analýzu hodnotení používateľov a odhaľovanie halucinácií a zhoršovania v čase. Napríklad pred prechodom na nový model sa na 50 typických dopytov zákazníkov odpovie oboma modelmi a porovná sa to podľa pevných kritérií.

  • Kvalita
  • testovanie
  • +1
Šablóna

Náklady na LLM

Náklady na veľké jazykové modely sa zvyčajne účtujú za token, teda textové jednotky veľké zhruba ako slabika až slovo; vstupné a výstupné tokeny sa oceňujú osobitne, pričom výstup je spravidla drahší. Väčšie modely stoja na token viac než malé, rýchle modely, ako je Claude Haiku, ktoré na jednoduché úlohy často stačia. Prompt caching znižuje náklady, keď sa opakovane posiela ten istý dlhý kontext. Pomáhajú aj stručné pokyny a starostlivo vybrané znalosti.

  • Náklady
  • Tokens
  • +1

Skóre BLEU

Skóre BLEU (Bilingual Evaluation Understudy) je metrika vyvinutá v roku 2002 v IBM na automatické hodnotenie strojových prekladov. Meria, koľko slovných sekvencií z prekladu sa vyskytuje aj v jednom alebo viacerých ľudských referenčných prekladoch, a udáva hodnotu medzi 0 a 1 (často zobrazenú ako 0 – 100). BLEU je rýchle a porovnateľné, ale nezachytáva dobre význam ani štýl – dobré parafrázy môžu dosiahnuť nízke skóre.

  • Evaluation
  • Preklad
  • +1