Glossarju

Token

X'inhu Token?

Token huwa l-iżgħar unità ta' test li mudell lingwistiku jipproċessa, normalment parti minn kelma, kelma qasira jew sinjal tal-punteġġjatura. Il-mudelli jaqraw l-inputs u jiġġeneraw it-tweġibiet token b'token, u d-daqs tat-tieqa tal-kuntest jitkejjel ukoll f'tokens. Peress li l-fornituri jitolbu ħlas għat-tokens tal-input u tal-output, it-tokens jiddeterminaw direttament l-ispejjeż u l-limiti: struzzjonijiet twal u għarfien ta' sfond estensiv iżidu l-konsum.

Kif jgħin KI.ordo

KI.ordo juri l-konsum ta' tokens u l-ispejjeż għal kull mudell u jħallik tistabbilixxi limitu ta' tokens ix-xahar.

Sir af aktar

Suġġetti

LLM
Spejjeż
Bażi

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo

← It-termini kollha

Termini relatati

Spejjeż tal-LLM

L-ispejjeż tal-mudelli lingwistiċi kbar normalment jiġu fatturati għal kull token, jiġifieri unitajiet tat-test b'daqs madwar sillaba sa kelma; it-tokens tal-input u tal-output jiġu mprezzati separatament, bl-output ġeneralment jiswa aktar. Mudelli akbar jiswew aktar għal kull token minn mudelli żgħar u veloċi bħal Claude Haiku, li spiss huma biżżejjed għal kompiti sempliċi. Il-prompt caching inaqqas l-ispejjeż meta l-istess kuntest twil jintbagħat ripetutament. Struzzjonijiet konċiżi u għarfien magħżul bir-reqqa jgħinu wkoll.

Spejjeż
Tokens
+1

Mudell lingwistiku kbir (LLM)

Mudell lingwistiku kbir (LLM) huwa netwerk newrali mħarreġ fuq kwantitajiet kbar ħafna ta' test, li jippermettilu jifhem u jiġġenera lingwa. Jaħdem billi jikkalkula pass pass l-aktar token probabbli li jmiss. L-LLMs jiktbu, jagħmlu sommarji, jittraduċu, iwieġbu mistoqsijiet u jiġġeneraw kodiċi; eżempji magħrufa jinkludu Claude, GPT, Gemini u Llama. Mingħajr aċċess għal sorsi kurrenti, jafu biss dak li kien fid-data tat-taħriġ tagħhom.

Mudelli lingwistiċi
IA ġenerattiva
+1

Ġenerazzjoni miżjuda bil-cache (CAG)

Il-ġenerazzjoni miżjuda bil-cache (CAG) hija approċċ li fih mudell tal-lingwa ma jfittix l-għarfien ma' kull mistoqsija. Minflok, bażi ta' għarfien maniġġabbli titgħabba minn qabel fit-tieqa tal-kuntest tiegħu u dak l-istat jinħażen fil-cache, u għalhekk it-tweġibiet ma jeħtieġu l-ebda pass separat ta' rkupru. It-terminu sar popolari permezz ta' dokument ta' riċerka tal-aħħar tal-2024 bħala alternattiva għall-ġenerazzjoni miżjuda bl-irkupru (RAG). Is-CAG jaqbel għal bażijiet ta' għarfien żgħar u stabbli; għal data kbira jew li tinbidel spiss, ir-RAG normalment jibqa' aktar prattiku.

RAG
Tieqa tal-kuntest
+1