Glossar

ROUGE-Score

Was ist ROUGE-Score?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist eine Gruppe von Kennzahlen, mit denen automatisch erzeugte Texte – vor allem Zusammenfassungen – mit von Menschen geschriebenen Referenztexten verglichen werden. Gemessen wird, wie viele Wörter oder Wortfolgen übereinstimmen, etwa bei ROUGE-1 einzelne Wörter oder bei ROUGE-L die längste gemeinsame Teilfolge. Der Wert ist schnell berechnet, erfasst aber weder sinngleiche Umformulierungen noch sachliche Richtigkeit zuverlässig.

Themen

Metrik
Textzusammenfassung
Evaluation

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

BLEU-Score

Der BLEU-Score (Bilingual Evaluation Understudy) ist eine 2002 bei IBM entwickelte Kennzahl, um maschinelle Übersetzungen automatisch zu bewerten. Er misst, wie viele Wortfolgen einer Übersetzung auch in einer oder mehreren menschlichen Referenzübersetzungen vorkommen, und vergibt einen Wert zwischen 0 und 1 (oft als 0–100 angegeben). BLEU ist schnell und vergleichbar, erfasst aber weder Bedeutung noch Stil gut – gute Umformulierungen können schlecht abschneiden.

Evaluation
Übersetzung
+1

Textzusammenfassung

Bei der automatischen Textzusammenfassung verdichtet KI lange Texte auf ihre Kernaussagen. Extraktive Verfahren übernehmen wichtige Sätze wörtlich, abstrahierende Verfahren formulieren den Inhalt neu – große Sprachmodelle arbeiten überwiegend abstrahierend. Nützlich ist das etwa für Protokolle, Berichte oder lange E-Mail-Verläufe; bei wichtigen Entscheidungen sollte die Zusammenfassung mit dem Original abgeglichen werden.

NLP
Zusammenfassung
+1

Vorlage

Benchmarking

Benchmarking bezeichnet bei KI den systematischen Vergleich von Modellen oder Systemen anhand festgelegter Aufgaben und Kriterien. Öffentliche Benchmarks messen etwa Allgemeinwissen, logisches Denken oder Programmierfähigkeit; für den Praxiseinsatz zählen aber vor allem eigene Testfälle aus dem Arbeitsalltag. Verglichen werden typischerweise Richtigkeit, Vollständigkeit, Antwortzeit und Kosten. So lässt sich entscheiden, ob ein kleineres, günstigeres Modell für eine Aufgabe genügt.

Modellvergleich
Evaluation
+1

Vorlage

Natürliche Sprachgenerierung (NLG)

Natürliche Sprachgenerierung (Natural Language Generation, NLG) ist der Teilbereich der Sprachverarbeitung, der aus Daten, Stichpunkten oder anderen Eingaben verständliche Texte erzeugt. Früher arbeiteten NLG-Systeme mit Vorlagen und Regeln, heute meist mit großen Sprachmodellen. Typische Einsätze sind Wetter- und Börsenberichte, Produktbeschreibungen, Zusammenfassungen von Kennzahlen oder Antworten in Chatbots. Wichtig ist, dass Zahlen und Fakten aus den Eingaben unverändert korrekt übernommen werden.

Sprachverarbeitung
Textgenerierung
+1

Vorlage