Glossar

Token

Was ist Token?

Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet – meist ein Wortteil, ein kurzes Wort oder ein Satzzeichen. Modelle lesen Eingaben und erzeugen Antworten Token für Token; auch die Länge des Kontextfensters wird in Tokens gemessen. Da Anbieter nach Eingabe- und Ausgabe-Tokens abrechnen, bestimmen Tokens direkt Kosten und Limits: Lange Anweisungen und umfangreiches Zusatzwissen erhöhen den Verbrauch.

So hilft KI.ordo

KI.ordo zeigt den Token-Verbrauch und die Kosten je Modell an und erlaubt ein monatliches Token-Limit.

Mehr erfahren →

Themen

LLM
Kosten
Grundlagen

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Kosten von LLM

Die Kosten großer Sprachmodelle werden meist nach Tokens abgerechnet, also nach Textbausteinen, die etwa einer Silbe bis einem Wort entsprechen; Eingabe- und Ausgabe-Tokens haben getrennte Preise, Ausgaben sind in der Regel teurer. Größere Modelle kosten pro Token mehr als kleine, schnelle Modelle wie Claude Haiku, die für einfache Aufgaben oft genügen. Prompt Caching senkt die Kosten, wenn derselbe lange Kontext wiederholt gesendet wird. Weitere Hebel sind kurze Anweisungen und gezielt ausgewähltes Wissen.

Kosten
Tokens
+1

Großes Sprachmodell (LLM)

Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz, das mit sehr großen Textmengen trainiert wurde und dadurch Sprache verstehen und erzeugen kann. Es arbeitet, indem es Schritt für Schritt das wahrscheinlichste nächste Token berechnet. LLMs schreiben, fassen zusammen, übersetzen, beantworten Fragen und erzeugen Code; bekannte Beispiele sind Claude, GPT, Gemini und Llama. Ohne Zugriff auf aktuelle Quellen kennen sie nur den Stand ihrer Trainingsdaten.

Sprachmodelle
Generative KI
+1

Cache Augmented Generation (CAG)

Cache Augmented Generation (CAG) ist ein Ansatz, bei dem ein Sprachmodell das benötigte Wissen nicht bei jeder Frage neu sucht, sondern den gesamten, überschaubaren Wissensbestand vorab in sein Kontextfenster lädt und diesen Zustand zwischenspeichert. Antworten entstehen dann ohne separaten Suchschritt. Der Begriff wurde Ende 2024 in einer Forschungsarbeit als Alternative zu Retrieval-Augmented Generation (RAG) bekannt. CAG eignet sich für kleinere, stabile Wissensbestände; bei großen oder häufig wechselnden Daten bleibt RAG meist praktikabler.

RAG
Kontextfenster
+1