Komponenten neuronaler Netze
Das Neuron
- formalisierte Entsprechung der Nervenzelle
besteht aus
- Aktivierungszustand ( aktueller Zustand des Neurons )
- Propagierungsfunktion ( bereitet die Eingabe auf )
- Aktivierungsfunktion ( legt übergang von einem Aktivierungszustand zum nächsten fest )
- Ausgabefunktion
Der Netzwerkgraph
gerichteter , gewichteter Graph, der die Topologie des Netzes festlegt.
Lernregel
- legt die Methode fest, wie das Netz zu trainieren ist.
Die Propagierungsfunktion NET
Sie legt fest, wie die Eingabe des Neuron aufzuarbeiten ist.
Es werden folgende Funktionen oft verwendet :
- Summe der gewichteten Eingabe (wird am häufigsten verwendet)
- Maximalwert der gewichteten Eingabe
- Produkt der gewichteten Eingabe
- Minimalwert der gewichteten Eingabe
Aktivierungsfunktion f und Zustand
Der Aktivierungszustand beschreibt den Zustand eines Neurons zu einem bestimmten
Zeitpunkt.
Die Aktivierungsfunktion gibt an, wie aus der aufbereiteten Eingabe und dem aktuellen
Zustand der nächste Zustand berechnet wird.
Oft verwendete Aktivierungsfunktionen sind :
- lineare Aktivierungsfunktion
- Schwellwertfunktion
- sigmoide Funktionen
lineare Aktivierungsfunktion
- einfach zu implementieren
- nur sinnvoll bei Netzen ohne versteckte Schichten
- Bezeihungen zwischen Ein- und Ausgabe müssen ausreichend genau durch
eine lineare Funktion angenähert werden können.
- auch abschnittsweise lineare Funktionen sind möglich
Frage :
Warum ist eine lineare Aktivierungsfunktion bei mehrstufigen netzen nicht sinnvoll ?
Antwort
Weil ein solches Netz in ein einstufiges überführt werden kann.
Dies geschieht folgendermaßen :
Es gibt eine Art Algorithmus, mit dem aus einem zweistufigen Netz (Eingabeschicht,
versteckte Schicht, Ausgabeschicht) die versteckte Schicht entfernt werden kann,
ohne das Ausgabeverhalten des Netzes zu ändern.
Der 'Algorithmus
Bezeichnungen :
Oi : Ausgabe der Schicht i ( 1=Eingabe, 2=versteckt , 3 = Ausgabes )
NETi : Propagierungsfunktion der Schicht i
Wij : Gewichtmatrix zwischen Schihct i und Schicht j
Ci : Konstanten der linearen Funktion
Betrachte Ausgabe des Netzes :
O3 = NET3C3
es gilt : NET3 = O2 C2W23
und O2 = O1 W12
Setzt man das in die obere Gleichung ein, so erhält man die Gleichung :
O3 = O1 W12 C2 W23 C3
Baut man nun ein einstufiges Netzt mit folgender Gewichtsmatrix :
W12C2W23
erhält man ein Netz mit dem gleichen Ausgabeverhalten.
Die Schwellwertfunktion
- eine Funktion, die bis zu einem Eingabewerte eine bestimmte Ausgabe produziert und dann eine andere
- leicht zu berechnen
- häufig in klassischen Netzsorten verwendet
- für neuere Netzsorten nicht geeignet:
neuere Netze arbeiten oft mit der ersten Ableitung der Aktivierungsfunktion,
jedoch sind Schwellwertfunktionen an der Sprungstelle nicht differenzierbar.
sigmoide Aktivierungsfunktionen
- genügen folgenden Anforderungen :
- Stetigkeit
- Differenzierbarkeit
- Monotonie
Beispiele :
- logistische Aktivierungsfnktion
- tangens hyperbolikus
Die Ausgabefunktion
- bildet den aktuellen Zustand auf gewünschte Ausgabe ab
- wird oft als Teil der Aktivierungsfunktion betrachtet
- bei einigen Netzen extra Aufführung notwendig
Der Netzwerkgraph
- Mächtigkeoit konnektionistischer Verfahren liegt in der Verbindung einfacher Prozessorelemente
FF-Netze
- Die einzelnen Schichten des Netzwerks können geordnet werden
- FF-Netz 1.Ordnung : es gibt nur Verbindungen von einer Schicht zur nächsthöheren
- FF-Netz 2.Ordnung : es gibt nur Verbindungen zu höheren Schichten
FB-Netze
= Netze mit Rückkopplung
- Verbindungen verlaufen innerhalb der Schichten zu höheren und zu niedrigeren Schichten.
- direkte Rückkopplung : Verbindung eines Neurons zu sich selbst
- indirekte Rückkopplung : Zyklus zwischen Neuronen in mehreren Schichten
- Lateralverbindung : Verbindung zwischen Neuronen in der gleichen Schicht
Die Lernregel
legt fest, wo das Netz Verändert wird, um zu lernen
- mögliche Ansätze :
- Aufbauen und Löschen von Verbindungen
- Aufbauen und Löschen von Neuronen
- Modifikation der Gewichtung der Verbindungen
- Modifikation von Parametern innerhalb des neurons
Die Hebb'sche Lernregel
- modifiziert die Gewichte der Verbindungen
- Idee : Sind zwei Neuronen zur gleichen Zeit aktiv und es gibt zwischen ihnen eine
Verbindung, so ist das Gewicht dieser Verbindung zu verstärken.
Beide Neurone sind aktiv bedeutet, das aj und oj beide aktiv sind.
Daher ist ihr Produkt größer als Null. Ist einer von beiden nicht aktiv, so ist das Produkt und
damit die Gewichtsänderung Null. Die Lernrate legt die Änderung innerhalb eines Lernschritts fest.
Die Delta-Regel
Die Deltaregel versucht die Ausgabe eines Neuron in Richtung der gewünschten Ausgabe zu ziehen.
Sie ist nur für einstufige FF-Netze zu verwenden, da die 'Sollausgabe' für ein verstecktes
Neuron keine definierte Größe ist.
Die erweiterte Deltaregel
- kann im Gegensatz zur 'einfachen' deltaregel auch für mehrstufige FF-Netze verwendet werden.
Die Ausgabeneurone werden in die entsprechende Richtung gezogen. Das verfahren ändert
dann die Gewichte schrittweise hinunter bis zur Eingabeschicht.
f' = erste Ableitung der Aktivierungsfunktion