proximalegradientmethode

Die proximale Gradientmethode (proximal gradient method) ist ein Optimierungsverfahren zur Minimierung von Funktionen der Form f(x) + g(x), wobei f eine differenzierbare Funktion mit Lipschitz-stetiger Ableitung ist und g eine konvexe, ggf. nicht glatte Funktion. Das Verfahren eignet sich besonders für Probleme, bei denen f einfach differenzierbar ist und g eine leicht berechenbare Proximaloperation besitzt; dadurch lassen sich Strukturmerkmale wie Sparsamkeit oder Regularisierung gezielt berücksichtigen.

Bei der Iteration wird der gradientenbasierte Schritt für f genutzt und anschließend die Proximaloperation von g angewandt. Die Aktualisierung lautet: x^{k+1} = prox_{α_k g}( x^k − α_k ∇f(x^k) ). Der Proximaloperator prox_{α g}(v) = argmin_x (1/(2α)) ||x − v||^2 + g(x) dient als Regularisierungsschritt. Für g, das ℓ1-Norm beinhaltet, ergibt sich als Proximaloperator eine Soft-Thresholding-Operation. Die Schrittweite α_k kann fest gewählt werden (typischerweise α_k = 1/L mit L der Lipschitz-Konstante von ∇f) oder durch Backtracking-Line-Search angepasst werden, wenn L unbekannt ist.

Konvergenz und Varianten: Unter geeigneten Annahmen konvergiert die Folge gegen einen Minimierer von f+g. Bei konvexen f+g gilt meist eine Sublinearität der Konvergenz, z. B O(1/k) für den Funktionswert; bei zusätzlichen Annahmen (z. B. starker Konvexität) lässt sich oft lineare Konvergenz erreichen. Beschleunigte Varianten wie FISTA liefern typischerweise O(1/k^2) für den Funktionswert. Es gibt auch stochastische und nichtkonvexe Erweiterungen mit verifizierbaren Bedingungssets.

Anwendungen reichen von sparsamer Regression (LASSO) über Bild- und Signalverarbeitung bis hin zu maschinellem Lernen. Proximaloperatoren ermöglichen gezielte Regularisierung wie ℓ1-, Gruppen-Lasso- oder Fused-Lasso-Strukturen. Die Methode ist ein zentraler Baustein im Forward-Backward-Splitting und in variantenreichen Optimierungs-Workflows.