L1Regularisierung

L1-Regularisierung ist eine Regularisierungsmethode im maschinellen Lernen und in der Statistik, die einen Strafterm auf die L1-Norm der Parameter hinzufügt. Typischerweise wird bei der Optimierung eines Modells eine Verlustfunktion L(w) um den Term lambda·∑i|w_i| erweitert, wobei lambda ≥ 0 der Regularisierungsparameter ist. Dadurch wird die Größe der Modellgewichte kontrolliert, insbesondere deren Anzahl ungleich Null.

Der zentrale Effekt der L1-Regularisierung ist Sparsamkeit: Viele Koeffizienten erhalten exakt den Wert Null, was zu einem schlankeren Modell und potenzieller feature selection führt. Im Gegensatz zur L2-Regularisierung (Ridge), die alle Koeffizienten zwar verkleinert, aber selten auf Null setzt, fördert L1 eine sparsamen Lösung. L1 wird häufig in linearen Modellen (LASSO) und logistischen Modellen eingesetzt, ist aber auch für andere Lernaufgaben geeignet.

Optimierungstechnisch ist die L1-Norm nicht differenzierbar an Null, daher kommen spezielle Techniken zum Einsatz. Zu gängigen Methoden gehören Subgradienten-Verfahren, koordinatenabstufende Descent-Algorithmen (Coordinate Descent) und Proximal-Gradienten mit Soft-Thresholding. In der Praxis wird oft der LASSO-Algorithmus oder der LARS-Algorithmus verwendet, um Pfade der Lösungen in Abhängigkeit von lambda effizient zu berechnen.

Wichtige Hinweise: Der Regularisierungsparameter lambda muss sorgfältig gewählt werden, typischerweise durch Kreuzvalidierung. Eine Standardisierung der Merkmale ist oft erforderlich, da L1 die Skalen der Merkmale berücksichtigt. Grenzen der L1-Regularisierung umfassen mögliche Verzerrungen (Bias) bei Koeffizienten und Instabilität bei stark korrelierten Merkmalen; in solchen Fällen kann eine Mischung aus L1- und L2-Regularisierung (Elastic Net) sinnvoll sein.