Backpropagation (Fehlerrückführung) ist das Standardverfahren, mit dem neuronale Netze lernen. Nach jeder Vorhersage wird der Fehler gemessen und rückwärts durch die Schichten des Netzes verteilt; so lässt sich berechnen, wie stark jedes Gewicht zum Fehler beigetragen hat. Ein Optimierungsverfahren wie der Gradientenabstieg passt die Gewichte dann schrittweise an. Ohne Backpropagation wäre das Training heutiger Sprach- und Bildmodelle praktisch nicht möglich.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenDer Gradientenabstieg ist ein Optimierungsverfahren, mit dem die meisten KI-Modelle trainiert werden. Man misst, wie groß der Fehler des Modells ist, berechnet, in welche Richtung sich die Parameter ändern müssen, damit er sinkt, und geht dann einen kleinen Schritt in diese Richtung – immer wieder. Bildlich gleicht das einem Wanderer, der im Nebel stets bergab geht, um das Tal zu finden. Die Schrittweite (Lernrate) entscheidet über Tempo und Stabilität.
Künstliche neuronale Netze (KNN) sind Rechenmodelle aus vielen verbundenen Einheiten („Neuronen“), die in Schichten angeordnet sind und Eingaben über gewichtete Verbindungen verarbeiten. Beim Training werden die Gewichte anhand von Beispielen schrittweise angepasst, meist per Backpropagation. KNN sind die Grundlage des Deep Learning und stecken in Bilderkennung, Spracherkennung und großen Sprachmodellen. Trotz des biologischen Vorbilds funktionieren sie deutlich einfacher als das menschliche Gehirn.
Aktivierungsfunktionen legen in einem künstlichen neuronalen Netz fest, wie stark ein Neuron sein Signal weitergibt. Sie bringen Nichtlinearität ins Netz – erst dadurch kann es komplexe Zusammenhänge wie Sprache oder Bilder abbilden. Verbreitete Beispiele sind ReLU, das negative Werte auf null setzt, Sigmoid für Wahrscheinlichkeiten zwischen 0 und 1 sowie GELU, das in vielen Transformer-Modellen verwendet wird. Die Wahl beeinflusst Trainingsgeschwindigkeit und Stabilität.
Die Kreuzentropie ist ein Maß aus der Informationstheorie, das angibt, wie stark eine vorhergesagte Wahrscheinlichkeitsverteilung von der tatsächlichen abweicht. Im maschinellen Lernen ist sie die gebräuchlichste Verlustfunktion für Klassifikationsaufgaben und auch für Sprachmodelle, die das nächste Token vorhersagen. Sie bestraft besonders falsche Vorhersagen, die mit hoher Sicherheit getroffen werden: Wer einer falschen Klasse 99 % gibt, erhält einen deutlich höheren Verlust als bei 60 %.
