Glossar

Aktivierungsfunktionen

Was ist Aktivierungsfunktionen?

Aktivierungsfunktionen legen in einem künstlichen neuronalen Netz fest, wie stark ein Neuron sein Signal weitergibt. Sie bringen Nichtlinearität ins Netz – erst dadurch kann es komplexe Zusammenhänge wie Sprache oder Bilder abbilden. Verbreitete Beispiele sind ReLU, das negative Werte auf null setzt, Sigmoid für Wahrscheinlichkeiten zwischen 0 und 1 sowie GELU, das in vielen Transformer-Modellen verwendet wird. Die Wahl beeinflusst Trainingsgeschwindigkeit und Stabilität.

Themen

Neuronale Netze
Deep Learning
Grundlagen

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Künstliche neuronale Netze (KNN)

Künstliche neuronale Netze (KNN) sind Rechenmodelle aus vielen verbundenen Einheiten („Neuronen“), die in Schichten angeordnet sind und Eingaben über gewichtete Verbindungen verarbeiten. Beim Training werden die Gewichte anhand von Beispielen schrittweise angepasst, meist per Backpropagation. KNN sind die Grundlage des Deep Learning und stecken in Bilderkennung, Spracherkennung und großen Sprachmodellen. Trotz des biologischen Vorbilds funktionieren sie deutlich einfacher als das menschliche Gehirn.

Deep Learning
KI-Grundlagen
+1

Backpropagation

Backpropagation (Fehlerrückführung) ist das Standardverfahren, mit dem neuronale Netze lernen. Nach jeder Vorhersage wird der Fehler gemessen und rückwärts durch die Schichten des Netzes verteilt; so lässt sich berechnen, wie stark jedes Gewicht zum Fehler beigetragen hat. Ein Optimierungsverfahren wie der Gradientenabstieg passt die Gewichte dann schrittweise an. Ohne Backpropagation wäre das Training heutiger Sprach- und Bildmodelle praktisch nicht möglich.

Neuronale Netze
Training
+1

Deep Learning

Deep Learning ist ein Teilbereich des maschinellen Lernens, der künstliche neuronale Netze mit vielen Schichten nutzt. Solche Netze lernen aus großen Datenmengen selbstständig, welche Merkmale wichtig sind – von Kanten in Bildern bis zu Bedeutungszusammenhängen in Texten. Deep Learning bildet die Grundlage heutiger Sprachmodelle, der Bild- und Spracherkennung sowie der maschinellen Übersetzung und benötigt meist viel Rechenleistung und Trainingsdaten.

neuronale Netze
maschinelles Lernen
+1