ProximityFunktionen

ProximityFunktionen, in der Optimierung oft als proximale Funktionen bezeichnet, dienen dazu, die Nähe zu einem aktuellen Iterationspunkt durch eine divergente Maß zu quantifizieren. Sie bilden die geometrische Grundlage vieler Proximal-Methoden und ermöglichen es, die Struktur der Zielfunktion gezielt zu berücksichtigen, etwa Sparsamkeit, Nichtglattheit oder Wahrscheinlichkeitsbeschränkungen.

Formal betrachtet ist eine ProximityFunction φ: C → R eine streng konvexe, differenzierbare Funktion auf einer konvexen Menge C ⊆ R^n, die oft zusätzlich starke Konvexität annimmt. Aus ihr lässt sich die Bregman-Divergenz Dφ(y, x) = φ(y) − φ(x) − ⟨∇φ(x), y − x⟩ ableiten. Dφ ist nicht symmetrisch, aber nonnegativ und verschwindet nur, wenn y = x.

Die proximale Operation bezieht sich auf eine Grundfunktion f, in der Minimierung von f(y) + Dφ(y, x) über y. Der sogenannte proxφf(x) = argmin_y { f(y) + Dφ(y, x) }. Für φ(x) = 1/2||x||^2 erhält man den klassischen proximal Operator mit quadratischer Distanz. Andere φ liefern Divergenzen wie die KL-Divergenz.

Beispiele: φ1(x) = 1/2 ||x||^2 führt zu Dφ(y, x) = 1/2||y − x||^2; φ2, definiert auf der Wahrscheinlichkeits-Menge, liefert Dφ als KL-Divergenz. Solche Wahl beeinflusst die Iteration geometrie und Stabilität.

Anwendungen finden sich in der Bildverarbeitung, im maschinellen Lernen, in der Statistik und numerischen Optimierung, insbesondere in ISTA, FISTA und anderen proximalen Gradientenschemata. Der Begriff geht auf Arbeiten von Bregman (1967) zu Divergenzen zurück; proximale Funktionen helfen, nicht glatte oder strukturell geprägte Ziele effizient zu minimieren.