DE
AnmeldenJetzt starten
Glossar

Benchmarking

Was ist Benchmarking?

Benchmarking bezeichnet bei KI den systematischen Vergleich von Modellen oder Systemen anhand festgelegter Aufgaben und Kriterien. Öffentliche Benchmarks messen etwa Allgemeinwissen, logisches Denken oder Programmierfähigkeit; für den Praxiseinsatz zählen aber vor allem eigene Testfälle aus dem Arbeitsalltag. Verglichen werden typischerweise Richtigkeit, Vollständigkeit, Antwortzeit und Kosten. So lässt sich entscheiden, ob ein kleineres, günstigeres Modell für eine Aufgabe genügt.

So hilft KI.ordo

Die KI.ordo-Vorlage „Modelle vergleichen (Benchmark)“ schickt dieselbe Aufgabe an ein Haiku- und ein Sonnet-Modell von Claude und bewertet beide Antworten nach Richtigkeit, Vollständigkeit und Klarheit.

Mehr erfahren →: Benchmarking

Passende Vorlagen

Themen

  • Modellvergleich
  • Evaluation
  • Qualität

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Genauigkeit und Stabilität von KI-Modellen

Genauigkeit beschreibt, wie oft ein KI-Modell richtige Ergebnisse liefert; Stabilität, wie verlässlich diese Leistung bleibt – bei leicht veränderten Eingaben, neuen Daten oder über längere Zeit. Ein Modell kann im Test sehr genau sein und trotzdem instabil, wenn schon eine umformulierte Frage zu einer anderen Antwort führt. Für den Praxiseinsatz werden beide Eigenschaften mit festen Testfällen, Kreuzvalidierung und laufender Überwachung geprüft.

  • Modellqualität
  • Robustheit
  • +1

KI-Qualitätssicherungs-Spezialist

Ein KI-Qualitätssicherungs-Spezialist prüft, ob KI-Anwendungen zuverlässig, korrekt und angemessen arbeiten. Dazu gehören Testfragen und Benchmarks, der Vergleich verschiedener Modelle, die Auswertung von Nutzerbewertungen sowie das Aufspüren von Halluzinationen und Verschlechterungen über die Zeit. Ein Beispiel: Vor dem Wechsel auf ein neues Modell werden 50 typische Kundenanfragen mit beiden Modellen beantwortet und nach festen Kriterien verglichen.

  • Qualität
  • Testen
  • +1
Vorlage

Kosten von LLM

Die Kosten großer Sprachmodelle werden meist nach Tokens abgerechnet, also nach Textbausteinen, die etwa einer Silbe bis einem Wort entsprechen; Eingabe- und Ausgabe-Tokens haben getrennte Preise, Ausgaben sind in der Regel teurer. Größere Modelle kosten pro Token mehr als kleine, schnelle Modelle wie Claude Haiku, die für einfache Aufgaben oft genügen. Prompt Caching senkt die Kosten, wenn derselbe lange Kontext wiederholt gesendet wird. Weitere Hebel sind kurze Anweisungen und gezielt ausgewähltes Wissen.

  • Kosten
  • Tokens
  • +1

BLEU-Score

Der BLEU-Score (Bilingual Evaluation Understudy) ist eine 2002 bei IBM entwickelte Kennzahl, um maschinelle Übersetzungen automatisch zu bewerten. Er misst, wie viele Wortfolgen einer Übersetzung auch in einer oder mehreren menschlichen Referenzübersetzungen vorkommen, und vergibt einen Wert zwischen 0 und 1 (oft als 0–100 angegeben). BLEU ist schnell und vergleichbar, erfasst aber weder Bedeutung noch Stil gut – gute Umformulierungen können schlecht abschneiden.

  • Evaluation
  • Übersetzung
  • +1