Fogalomtár

Token

Mi a(z) Token?

A token a szöveg legkisebb egysége, amelyet egy nyelvi modell feldolgoz; általában egy szórész, egy rövid szó vagy egy írásjel. A modellek tokenenként olvassák a bemeneteket és állítják elő a válaszokat, és a kontextusablak mérete is tokenekben mérhető. Mivel a szolgáltatók a bemeneti és kimeneti tokenekért számláznak, a tokenek közvetlenül meghatározzák a költségeket és a korlátokat: a hosszú utasítások és a kiterjedt háttértudás növelik a felhasználást.

Így segít a KI.ordo

A KI.ordo modellenként megmutatja a tokenfelhasználást és a költségeket, és lehetővé teszi havi tokenkorlát beállítását.

További információ

Témák

LLM
Költségek
Alapok

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

LLM-költségek

A nagy nyelvi modellek költségeit általában tokenenként számlázzák, vagyis egy szótagtól egy szóig terjedő méretű szövegegységenként; a bemeneti és a kimeneti tokeneket külön árazzák, a kimenet általában drágább. A nagyobb modellek tokenenként többe kerülnek, mint a kicsi, gyors modellek, például a Claude Haiku, amelyek egyszerű feladatokra gyakran elegendők. A prompt caching csökkenti a költségeket, ha ugyanazt a hosszú kontextust többször küldik el. A tömör utasítások és a gondosan kiválasztott tudás szintén segít.

Költségek
Tokens
+1

Nagy nyelvi modell (LLM)

A nagy nyelvi modell (LLM) egy nagyon nagy szövegmennyiségen betanított neurális háló, amely képes a nyelv megértésére és előállítására. Úgy működik, hogy lépésről lépésre kiszámítja a legvalószínűbb következő tokent. Az LLM-ek írnak, összefoglalnak, fordítanak, kérdésekre válaszolnak és kódot generálnak; ismert példák a Claude, a GPT, a Gemini és a Llama. Aktuális források elérése nélkül csak azt tudják, ami a tanítóadataikban szerepelt.

nyelvi modellek
generatív MI
+1

Gyorsítótárral bővített generálás (CAG)

A gyorsítótárral bővített generálás (cache-augmented generation, CAG) olyan megközelítés, amelyben a nyelvi modell nem keres tudást minden egyes kérdésnél. Ehelyett egy áttekinthető méretű tudásbázist előre betöltenek a kontextusablakába, és ezt az állapotot gyorsítótárazzák, így a válaszokhoz nincs szükség külön visszakeresési lépésre. A kifejezést egy 2024 végi kutatási tanulmány tette népszerűvé a visszakereséssel bővített generálás (RAG) alternatívájaként. A CAG kis, stabil tudásbázisokhoz illik; nagy vagy gyakran változó adatok esetén általában a RAG marad a praktikusabb.

RAG
Kontextusablak
+1