Glossar

Batch-Normalisierung

Was ist Batch-Normalisierung?

Batch-Normalisierung ist eine Technik beim Training tiefer neuronaler Netze, die die Zwischenwerte einer Schicht für jeden Datenstapel (Batch) auf einen einheitlichen Mittelwert und eine einheitliche Streuung bringt. Dadurch verläuft das Training stabiler und oft schneller, und das Netz reagiert weniger empfindlich auf die Startwerte. Sie wurde 2015 vorgestellt und ist vor allem in Bilderkennungsnetzen verbreitet; Transformer nutzen meist die verwandte Layer-Normalisierung.

Themen

Deep Learning
Training
Neuronale Netze

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Deep Learning

Deep Learning ist ein Teilbereich des maschinellen Lernens, der künstliche neuronale Netze mit vielen Schichten nutzt. Solche Netze lernen aus großen Datenmengen selbstständig, welche Merkmale wichtig sind – von Kanten in Bildern bis zu Bedeutungszusammenhängen in Texten. Deep Learning bildet die Grundlage heutiger Sprachmodelle, der Bild- und Spracherkennung sowie der maschinellen Übersetzung und benötigt meist viel Rechenleistung und Trainingsdaten.

neuronale Netze
maschinelles Lernen
+1

Dropout

Dropout ist eine Regularisierungstechnik beim Training neuronaler Netze: In jedem Trainingsschritt wird zufällig ein Teil der Neuronen vorübergehend ausgeschaltet. Dadurch kann sich das Netz nicht auf einzelne Verbindungen verlassen und lernt robustere Muster. Das verringert Überanpassung, also das bloße Auswendiglernen der Trainingsdaten. Bei der späteren Nutzung des fertigen Modells sind wieder alle Neuronen aktiv.

Training
Regularisierung
+1

Regularisierung

Regularisierung umfasst Techniken, die ein Modell beim Training daran hindern, sich zu eng an die Trainingsdaten anzupassen (Overfitting). Dazu werden etwa zu große Gewichte bestraft (L1- oder L2-Regularisierung), Neuronen zufällig ausgeschaltet (Dropout) oder das Training rechtzeitig beendet (Early Stopping). Das Ziel ist ein einfacheres Modell, das auf neuen, unbekannten Daten zuverlässiger funktioniert, auch wenn es auf den Trainingsdaten etwas schlechter abschneidet.

Training
Overfitting
+1

Gradientenabstieg

Der Gradientenabstieg ist ein Optimierungsverfahren, mit dem die meisten KI-Modelle trainiert werden. Man misst, wie groß der Fehler des Modells ist, berechnet, in welche Richtung sich die Parameter ändern müssen, damit er sinkt, und geht dann einen kleinen Schritt in diese Richtung – immer wieder. Bildlich gleicht das einem Wanderer, der im Nebel stets bergab geht, um das Tal zu finden. Die Schrittweite (Lernrate) entscheidet über Tempo und Stabilität.

Optimierung
Modelltraining
+1