DE
AnmeldenJetzt starten
Glossar

KI-Qualitätssicherungs-Spezialist

Was ist KI-Qualitätssicherungs-Spezialist?

Ein KI-Qualitätssicherungs-Spezialist prüft, ob KI-Anwendungen zuverlässig, korrekt und angemessen arbeiten. Dazu gehören Testfragen und Benchmarks, der Vergleich verschiedener Modelle, die Auswertung von Nutzerbewertungen sowie das Aufspüren von Halluzinationen und Verschlechterungen über die Zeit. Ein Beispiel: Vor dem Wechsel auf ein neues Modell werden 50 typische Kundenanfragen mit beiden Modellen beantwortet und nach festen Kriterien verglichen.

So hilft KI.ordo

In KI.ordo unterstützen die Vorlage „Modelle vergleichen (Benchmark)“ und die 👍/👎-Bewertungen der Antworten diese Arbeit; die Bewertungen dienen der Verbesserung von Wissen und Anweisungen, nicht dem Modelltraining.

Mehr erfahren →: KI-Qualitätssicherungs-Spezialist

Passende Vorlagen

Themen

  • Qualität
  • Testen
  • Rolle

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Benchmarking

Benchmarking bezeichnet bei KI den systematischen Vergleich von Modellen oder Systemen anhand festgelegter Aufgaben und Kriterien. Öffentliche Benchmarks messen etwa Allgemeinwissen, logisches Denken oder Programmierfähigkeit; für den Praxiseinsatz zählen aber vor allem eigene Testfälle aus dem Arbeitsalltag. Verglichen werden typischerweise Richtigkeit, Vollständigkeit, Antwortzeit und Kosten. So lässt sich entscheiden, ob ein kleineres, günstigeres Modell für eine Aufgabe genügt.

  • Modellvergleich
  • Evaluation
  • +1
Vorlage

Halluzination

Als Halluzination bezeichnet man Ausgaben eines KI-Modells, die überzeugend klingen, aber falsch oder frei erfunden sind – etwa ein nicht existierendes Gerichtsurteil, eine falsche Zahl oder eine erfundene Quelle. Die Ursache: Sprachmodelle erzeugen wahrscheinliche Formulierungen, sie schlagen nicht automatisch Fakten nach. Das Risiko sinkt, wenn Antworten auf geprüften Quellen beruhen, Belege angegeben werden und Menschen wichtige Ergebnisse kontrollieren.

  • Sprachmodelle
  • Verlässlichkeit
  • +1
Vorlage

Genauigkeit und Stabilität von KI-Modellen

Genauigkeit beschreibt, wie oft ein KI-Modell richtige Ergebnisse liefert; Stabilität, wie verlässlich diese Leistung bleibt – bei leicht veränderten Eingaben, neuen Daten oder über längere Zeit. Ein Modell kann im Test sehr genau sein und trotzdem instabil, wenn schon eine umformulierte Frage zu einer anderen Antwort führt. Für den Praxiseinsatz werden beide Eigenschaften mit festen Testfällen, Kreuzvalidierung und laufender Überwachung geprüft.

  • Modellqualität
  • Robustheit
  • +1

Model Drift

Model Drift beschreibt das allmähliche Nachlassen der Vorhersagequalität eines Modells im laufenden Betrieb, weil sich die Wirklichkeit gegenüber den Trainingsdaten verändert. Man unterscheidet Veränderungen der Eingabedaten (Data Drift) und Veränderungen des Zusammenhangs zwischen Eingaben und Ergebnis (Concept Drift). Beispiel: Ein Betrugserkennungsmodell übersieht neue Betrugsmaschen. Gegenmittel sind laufende Überwachung von Kennzahlen und regelmäßiges Nachtrainieren.

  • MLOps
  • Modellqualität
  • +1