Resilent Propagation
Resilent Propagation ist ein weiteres Verfahren, um eine Fehlerfunktion zu minimieren. Es benutzt für jedes Gewicht eine eigene Schrittweite, die im Verlauf des Verfahrens angepaßt wird.
Die Idee
Wenn der Gradient sein Vorzeichen in zwei Berechnungsschritten nicht ändert, dann geht es hier monoton abwärts. Die Schrittweite wird vergrößert, um schneller zum Minimum zu kommen. Dazu wird die aktuelle Schrittweite für das entsprechende Gewicht mit einem Faktor > 1 multipliziert.
Ändert der Gradient sein Vorzeichen, so wurde ein Tal übersprungen. Die Gewichte bleiben die 'alten', also die, die vor dem Vorzeichenwechsel waren und die Schrittweite wird verkleinert. Dazu wird die 'alte' Schrittweite mit einem Faktor <1 multipliziert.
Die Schrittweite sollte sich in bestimmten Intervallen aufhalten, um zu langsames Voranschreiten bzw. zu grobes Springen zu verhindern.
Die Faktoren
Liegt ein Vorzeichenwechel vor, liegt ein Tal zwischen den beiden Punkten. Daher ist ein Faktor von 0,5 eine im Durchschnitt gute Wahl. Für den Vergrößerungsfaktor muß zwischen einer möglichst schnellen Konvergenz und der Gefahr Optima zu überspringen abgewogen werden.