Słownik pojęć

Token

Czym jest Token?

Token to najmniejsza jednostka tekstu przetwarzana przez model językowy, zazwyczaj fragment słowa, krótkie słowo lub znak interpunkcyjny. Modele odczytują dane wejściowe i generują odpowiedzi token po tokenie, a rozmiar okna kontekstu również mierzy się w tokenach. Ponieważ dostawcy rozliczają tokeny wejściowe i wyjściowe, tokeny bezpośrednio decydują o kosztach i limitach: długie instrukcje i obszerna wiedza w tle zwiększają zużycie.

Jak pomaga KI.ordo

KI.ordo pokazuje zużycie tokenów i koszty w podziale na modele oraz pozwala ustawić miesięczny limit tokenów.

Dowiedz się więcej

Tematy

LLM
Koszty
Podstawy

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Koszty LLM

Koszty dużych modeli językowych rozlicza się zwykle za token, czyli jednostki tekstu mniej więcej wielkości sylaby lub wyrazu; tokeny wejściowe i wyjściowe wycenia się osobno, przy czym wyjściowe są zazwyczaj droższe. Większe modele kosztują więcej za token niż małe, szybkie modele, takie jak Claude Haiku, które do prostych zadań często wystarczają. Buforowanie promptów (prompt caching) obniża koszty, gdy ten sam długi kontekst jest wysyłany wielokrotnie. Pomagają też zwięzłe instrukcje i starannie dobrana wiedza.

Koszty
Tokens
+1

Duży model językowy (LLM)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, dzięki czemu potrafi rozumieć i generować język. Działa, obliczając krok po kroku najbardziej prawdopodobny kolejny token. LLM-y piszą, streszczają, tłumaczą, odpowiadają na pytania i generują kod; znane przykłady to Claude, GPT, Gemini i Llama. Bez dostępu do aktualnych źródeł wiedzą tylko to, co znajdowało się w ich danych treningowych.

modele językowe
generatywna AI
+1

Cache-augmented generation (CAG)

Cache-augmented generation (CAG) to podejście, w którym model językowy nie wyszukuje wiedzy przy każdym pytaniu. Zamiast tego niewielka baza wiedzy jest z góry ładowana do jego okna kontekstowego, a ten stan zostaje zapisany w pamięci podręcznej, dzięki czemu odpowiedzi nie wymagają osobnego kroku wyszukiwania. Termin ten spopularyzowała praca badawcza z końca 2024 roku jako alternatywę dla generowania wspomaganego wyszukiwaniem (RAG). CAG sprawdza się w przypadku małych, stabilnych baz wiedzy; przy dużych lub często zmieniających się danych RAG pozostaje zazwyczaj bardziej praktyczny.

RAG
Okno kontekstowe
+1