Quickprop
Quickprop ist ein alternatives Verfahren zu Backpropagation. Auch hier wird versucht die Fehlerfunktion zu minimieren. Im Unterschied zu Backpropagation wird der Fehlerfunktion bezogen auf ein Gewicht ein quadratischer Verlauf unterstellt. (Dadurch arbeitet Quickprop auch dann gut, wenn das auch zutrifft) . Da man das Minimum einer Parabel sehr schnell berechnen kann, wird das Gewicht so gewählt, daß die Parabel dort ihr Minimum hat (in der Hoffnung, das das Minimum der Fehlerfunktion auch dort in der Nähe liegt). Ist noch nicht das Minimum der Fehlerfunktion erreicht, wird das Verfahren iterativ angewendet, bis das Minimum gefunden ist. Die Parabel, die die Fehlerfunktion approximieren soll, wird aus dem Gradienten der Fehlerfunktion (bezogen auf ein einzelnes Gewicht) zu zwei 'Zeitpunkten' gewonnen. Durch diese zwei Punkte kann man direkt das Minimum der angelegten Parabel ausrechen. Die Formel hierfür lautet :
Formel : Quickprop
Das hierdurch wirklich in das Optimum der Parabel gesprungen wird, ist einfach zu zeigen. Es seien w1 und w2 die Gewichte zu den Zeitpunkten 1 und 2. w3 sein das neue Gewicht, also x2 + Delta(W).
Eine Parabel hat die allgemeine Form : aw2 + bw + c. Setzt man die erste Ableitung ( 2aw + b ) auf Null, um das Optimum zu bestimmen, erhält man : x3= -b/2a. Nun wir gezeigt, das die oben angegebene Formel auch dieses x3 berechnet.
Formel_1
Da S die Steigung ist, können wir dort die erste Ableitung der Parabel einsetzen. Man erhält :
Formel_2
Die (w2-w1) kürzen sich bis auf einen Faktor von -1 weg :
Formel_3
Nun kann man den Bruch Aufspalten und bei einem Summanden das (2a) wegkürzen. Man erhält :
Formel_4
Daraus erhält man :
Formel_5
was dem gewünschten Ergebnis entspricht. Wenn die Fehlerfunktion keine Parabel ist, so wird ihr Minimum nur angenähert. Dies ist aber nicht tragisch, denn durch iteratives Anwenden der Formel gelangt man zum Minimum.
Sieht man sich die Formel genauer an, stellt man fest, daß sie nicht ganz ohne Tücken ist. Da mit den Steigungen der fehlerfunktion gerechnet wird, ist es möglich, daß zwei aufeinaderfolgende Steigungen den gleichen Wert besitzen. Dies würd zu einer Division durch Null und somit zu einem unendlichen Schritt (einem Fehler) führen. Um dies zu vermeiden, wird eine maximale Schritweite eingeführt, die in solchen Fällen verwendet wird. Sonst kann man noch weitere Betrachtungen durchführen. Abgesehen vom Fall, daß zwei Steigungen gleich sind, gibt es noch 3 weitere Fälle zu unterscheiden:

Nach der Initialisierung der Gewichte muß man einen Startschritt z.B. mit Backpropagation machen, um die zwei benötigten Gewichte zu erhalten. Die Berechnung des Gradienten erfolgt wie bei Backpropagation.