Komponenten neuronaler Netze


Das Neuron
- formalisierte Entsprechung der Nervenzelle besteht aus
Der Netzwerkgraph
gerichteter , gewichteter Graph, der die Topologie des Netzes festlegt.

Lernregel - legt die Methode fest, wie das Netz zu trainieren ist.
Die Propagierungsfunktion NET
Sie legt fest, wie die Eingabe des Neuron aufzuarbeiten ist. Es werden folgende Funktionen oft verwendet :

Aktivierungsfunktion f und Zustand
Der Aktivierungszustand beschreibt den Zustand eines Neurons zu einem bestimmten Zeitpunkt. Die Aktivierungsfunktion gibt an, wie aus der aufbereiteten Eingabe und dem aktuellen Zustand der nächste Zustand berechnet wird. Oft verwendete Aktivierungsfunktionen sind :

lineare Aktivierungsfunktion
Frage : Warum ist eine lineare Aktivierungsfunktion bei mehrstufigen netzen nicht sinnvoll ?
Antwort Weil ein solches Netz in ein einstufiges überführt werden kann.
Dies geschieht folgendermaßen :
Es gibt eine Art Algorithmus, mit dem aus einem zweistufigen Netz (Eingabeschicht, versteckte Schicht, Ausgabeschicht) die versteckte Schicht entfernt werden kann, ohne das Ausgabeverhalten des Netzes zu ändern.
Der 'Algorithmus
Bezeichnungen :
Oi : Ausgabe der Schicht i ( 1=Eingabe, 2=versteckt , 3 = Ausgabes )
NETi : Propagierungsfunktion der Schicht i
Wij : Gewichtmatrix zwischen Schihct i und Schicht j
Ci : Konstanten der linearen Funktion

Betrachte Ausgabe des Netzes :
O3 = NET3C3
es gilt : NET3 = O2 C2W23
und O2 = O1 W12
Setzt man das in die obere Gleichung ein, so erhält man die Gleichung : O3 = O1 W12 C2 W23 C3
Baut man nun ein einstufiges Netzt mit folgender Gewichtsmatrix : W12C2W23
erhält man ein Netz mit dem gleichen Ausgabeverhalten.

Die Schwellwertfunktion
- eine Funktion, die bis zu einem Eingabewerte eine bestimmte Ausgabe produziert und dann eine andere

sigmoide Aktivierungsfunktionen
- genügen folgenden Anforderungen :
Beispiele :


Die Ausgabefunktion Der Netzwerkgraph
- Mächtigkeoit konnektionistischer Verfahren liegt in der Verbindung einfacher Prozessorelemente
FF-Netze
- Die einzelnen Schichten des Netzwerks können geordnet werden - FF-Netz 1.Ordnung : es gibt nur Verbindungen von einer Schicht zur nächsthöheren
- FF-Netz 2.Ordnung : es gibt nur Verbindungen zu höheren Schichten

FB-Netze
= Netze mit Rückkopplung
- Verbindungen verlaufen innerhalb der Schichten zu höheren und zu niedrigeren Schichten.
- direkte Rückkopplung : Verbindung eines Neurons zu sich selbst
- indirekte Rückkopplung : Zyklus zwischen Neuronen in mehreren Schichten
- Lateralverbindung : Verbindung zwischen Neuronen in der gleichen Schicht

Die Lernregel
legt fest, wo das Netz Verändert wird, um zu lernen
- mögliche Ansätze :
Die Hebb'sche Lernregel
- modifiziert die Gewichte der Verbindungen
- Idee : Sind zwei Neuronen zur gleichen Zeit aktiv und es gibt zwischen ihnen eine Verbindung, so ist das Gewicht dieser Verbindung zu verstärken.
die Formel der Lernregel

Beide Neurone sind aktiv bedeutet, das aj und oj beide aktiv sind. Daher ist ihr Produkt größer als Null. Ist einer von beiden nicht aktiv, so ist das Produkt und damit die Gewichtsänderung Null. Die Lernrate legt die Änderung innerhalb eines Lernschritts fest. Die Delta-Regel
Die Deltaregel versucht die Ausgabe eines Neuron in Richtung der gewünschten Ausgabe zu ziehen. Sie ist nur für einstufige FF-Netze zu verwenden, da die 'Sollausgabe' für ein verstecktes Neuron keine definierte Größe ist.
Die Deltaregel
Die erweiterte Deltaregel
- kann im Gegensatz zur 'einfachen' deltaregel auch für mehrstufige FF-Netze verwendet werden. Die Ausgabeneurone werden in die entsprechende Richtung gezogen. Das verfahren ändert dann die Gewichte schrittweise hinunter bis zur Eingabeschicht.
Die erweiterte Deltaregel
f' = erste Ableitung der Aktivierungsfunktion