Model Drift beschreibt das allmähliche Nachlassen der Vorhersagequalität eines Modells im laufenden Betrieb, weil sich die Wirklichkeit gegenüber den Trainingsdaten verändert. Man unterscheidet Veränderungen der Eingabedaten (Data Drift) und Veränderungen des Zusammenhangs zwischen Eingaben und Ergebnis (Concept Drift). Beispiel: Ein Betrugserkennungsmodell übersieht neue Betrugsmaschen. Gegenmittel sind laufende Überwachung von Kennzahlen und regelmäßiges Nachtrainieren.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenModellrobustheit beschreibt, wie zuverlässig ein KI-Modell arbeitet, wenn Eingaben verrauscht, unvollständig, ungewöhnlich oder gezielt manipuliert sind. Ein robustes Modell liefert auch dann stabile Ergebnisse, etwa eine Bilderkennung bei schlechter Beleuchtung oder ein Sprachmodell bei Tippfehlern. Robustheit wird mit Stresstests, vielfältigen Trainingsdaten und Tests gegen gezielte Täuschungsversuche geprüft und ist besonders in sicherheitskritischen Anwendungen wichtig.
Trainingsdaten sind die Beispiele, aus denen ein KI-Modell Muster lernt – bei Sprachmodellen große Textsammlungen, bei Bildmodellen beschriftete Bilder. Ihre Qualität, Vielfalt und Aktualität bestimmen maßgeblich, wie zuverlässig, fair und auf welchem Wissensstand ein Modell später antwortet. Für Unternehmen ist zudem wichtig, ob ein Anbieter eingegebene Kundendaten für weiteres Training verwendet.
MLflow ist eine quelloffene Plattform zur Verwaltung des gesamten Lebenszyklus von Machine-Learning-Modellen, ursprünglich 2018 von Databricks vorgestellt. Sie protokolliert Experimente mit Parametern und Kennzahlen, verwaltet Modellversionen in einer Registry und erleichtert die Bereitstellung. Neuere Versionen unterstützen zudem das Nachverfolgen und Bewerten von Anwendungen mit Sprachmodellen. Teams können so nachvollziehen, welches Modell mit welchen Daten und Einstellungen entstanden ist.
Genauigkeit beschreibt, wie oft ein KI-Modell richtige Ergebnisse liefert; Stabilität, wie verlässlich diese Leistung bleibt – bei leicht veränderten Eingaben, neuen Daten oder über längere Zeit. Ein Modell kann im Test sehr genau sein und trotzdem instabil, wenn schon eine umformulierte Frage zu einer anderen Antwort führt. Für den Praxiseinsatz werden beide Eigenschaften mit festen Testfällen, Kreuzvalidierung und laufender Überwachung geprüft.
