Gradientabstieg

Gradientabstieg, im Deutschen Gradient Descent, ist ein iteratives Optimierungsverfahren zur Minimierung einer differenzierbaren Funktion f. Ziel ist es, Parameter so zu verändern, dass f minimal wird, beispielsweise die Verlustfunktion eines Modells in maschinellem Lernen. Ausgangspunkt ist eine Startlösung θ0. Bei jedem Schritt t wird der Gradient der Funktion an der aktuellen Stelle berechnet und in Richtung des negativen Gradienten bewegt. Die Aktualisierung lautet θ_{t+1} = θ_t − η ∇f(θ_t), wobei η die Lernrate ist.

Es gibt verschiedene Varianten der Gradientenberechnung. Batch-Gradienten verwendet den gesamten Datensatz zur Berechnung des Gradienten, Stochastic Gradient Descent (SGD) nutzt einzelne Beispiele, und Mini-Batch-Gradienten verwendet kleine Teilmengen. Diese Unterschiede beeinflussen Konvergenz, Stochastik und Rechenaufwand. Zudem kann man adaptiv unterschiedliche Lernraten verwenden oder Lernratenpläne einsetzen, um die Konvergenz zu stabilisieren.

Konvergenz und Herausforderungen. Bei konvexen Funktionen konvergiert Gradientabstieg unter geeigneter Lernrate gegen das globale Minimum; bei nicht konvexen Funktionen können lokale Minima oder Sattelpunkte auftreten. Die Wahl der Lernrate ist kritisch: Zu große Werte können Divergenz verursachen, zu kleine verlangsamen die Konvergenz. Fortschritte wie momentumbasierte Methoden oder adaptive Optimierer helfen, die Konvergenz zu beschleunigen.

Erweiterungen und Anwendungen. Zu den Erweiterungen gehören Momentum, Nesterov beschleunigter Gradient, Adam und RMSprop, die den Lernprozess stabilisieren. Gradientabstieg wird breit eingesetzt, unter anderem beim Training linearer Modelle, logistischer Regression, neuronaler Netze sowie in vielen numerischen Optimierungsaufgaben. Historisch gehört er zu den frühesten Methoden der numerischen Optimierung; Cauchy trug im 19. Jahrhundert zur formalen Begründung bei.