Der BLEU-Score (Bilingual Evaluation Understudy) ist eine 2002 bei IBM entwickelte Kennzahl, um maschinelle Übersetzungen automatisch zu bewerten. Er misst, wie viele Wortfolgen einer Übersetzung auch in einer oder mehreren menschlichen Referenzübersetzungen vorkommen, und vergibt einen Wert zwischen 0 und 1 (oft als 0–100 angegeben). BLEU ist schnell und vergleichbar, erfasst aber weder Bedeutung noch Stil gut – gute Umformulierungen können schlecht abschneiden.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist eine Gruppe von Kennzahlen, mit denen automatisch erzeugte Texte – vor allem Zusammenfassungen – mit von Menschen geschriebenen Referenztexten verglichen werden. Gemessen wird, wie viele Wörter oder Wortfolgen übereinstimmen, etwa bei ROUGE-1 einzelne Wörter oder bei ROUGE-L die längste gemeinsame Teilfolge. Der Wert ist schnell berechnet, erfasst aber weder sinngleiche Umformulierungen noch sachliche Richtigkeit zuverlässig.
Benchmarking bezeichnet bei KI den systematischen Vergleich von Modellen oder Systemen anhand festgelegter Aufgaben und Kriterien. Öffentliche Benchmarks messen etwa Allgemeinwissen, logisches Denken oder Programmierfähigkeit; für den Praxiseinsatz zählen aber vor allem eigene Testfälle aus dem Arbeitsalltag. Verglichen werden typischerweise Richtigkeit, Vollständigkeit, Antwortzeit und Kosten. So lässt sich entscheiden, ob ein kleineres, günstigeres Modell für eine Aufgabe genügt.
Der F-Score ist eine Kennzahl zur Bewertung von Klassifikationsmodellen. Das gebräuchliche F1-Maß ist das harmonische Mittel aus Präzision (wie viele der gefundenen Treffer stimmen) und Recall (wie viele der tatsächlichen Treffer gefunden wurden) und liegt zwischen 0 und 1. Es ist besonders nützlich bei unausgewogenen Daten: Ein Spamfilter, der fast nie Spam meldet, hat hohe Genauigkeit, aber einen niedrigen F1-Wert.
Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist das Teilgebiet der KI, das Computern ermöglicht, menschliche Sprache in Text oder Sprache zu analysieren, zu verstehen und zu erzeugen. Es umfasst Aufgaben wie Übersetzung, Klassifikation, Zusammenfassung, Stimmungsanalyse und Frage-Antwort-Systeme. Früher dominierten Regeln und statistische Verfahren, heute prägen große Sprachmodelle das Feld.
