Sigmoidfunktion

Eine Sigmoidfunktion (auch "Schwanenhalsfunktion" oder S-shaped function genannt) ist eine mathematische Funktion mit einem S-förmigen Schaubild. Oft wird der Begriff Sigmoidfunktion auf den Spezialfall logistische Funktion bezogen, die durch die folgende Gleichung beschrieben wird:

$\rm{sig}(t) = \frac{1}{1 + \rm e^{-t}}$

Sigmoidfunktionen im Allgemeinen

Im Allgemeinen ist eine Sigmoidfunktion eine beschränkte und differenzierbare reelle Funktion mit einer positiven oder negativen ersten Ableitung und genau einem Wendepunkt.

Außer der logistischen Funktion enthält die Menge der Sigmoidfunktionen den Arkustangens, den Tangens Hyperbolicus und die Fehlerfunktion, die sämtlich transzendent sind, aber auch einfache algebraische Funktionen wie $f(x)=\tfrac x\sqrt{1+x^2}$ . Das Integral jeder glatten, positiven Funktion mit einem "Berg" (z. B. die Gaussche Glockenkurve) ist wiederum eine Sigmoidfunktion. Daher sind viele kumulierte Verteilungsfunktionen sigmoidal.

Sigmoidfunktionen in Neuronalen Netzwerken

Sigmoidfunktionen werden oft in Künstlichen Neuronalen Netzen als Aktivierungsfunktion verwendet, um Nichtlinearität in das Model einzuführen und um den Ausgabewert eines Neurons in einen bestimmten Bereich zu skalieren. In einem einfachen Neuronenmodell, das zum Beispiel in mehrschichtigen feed-forward Netzwerken verwendet wird, wird die Ausgabe eines Neurons durch Linearkombination der Eingabewerte und Anwendung einer Sigmoidfunktion auf das Ergebnis berechnet. Damit ist es möglich, dass das Netzwerk nicht linear-separierbare Aufgaben lösen kann, was bei den Vorgängern noch nicht möglich war (siehe Perzeptron).

Oft wird bei Neuronalen Netzen die Ableitung der Aktivierungsfunktion eines Neurons benötigt. Für die oben angegebene Sigmoidfunktion ist diese besonders einfach zu berechnen, weil folgende Beziehung gilt:

$\frac{d}{dt}{\rm sig}(t) = {\rm sig}(t) \left ( 1 - {\rm sig}(t) \right )$