LassoMethoden

LassoMethoden bezeichnen eine Gruppe von Regularisierungstechniken in Statistik und maschinellem Lernen, die L1-Strafterm verwenden, um die Modellkomplexität zu kontrollieren und Merkmalsauswahl zu ermöglichen. Sie eignen sich besonders für Hochdimensionalität, bei der die Anzahl der Merkmale die Stichprobengröße übersteigt.

Beim klassischen Lasso (Least Absolute Shrinkage and Selection Operator) wird das Residual Sum of Squares minimiert, zusätzlich jedoch die L1-Norm der Koeffizienten mit dem Regularisierungsparameter λ bestraft. Durch die L1-Strafe werden Koeffizienten oft exakt auf Null gesetzt, was zu sparsamen Modellen führt und irrelevante Merkmale entfernt.

Zu den LassoMethoden gehören unter anderem Elastic Net, Adaptive Lasso, Group Lasso und Fused Lasso. Elastic Net kombiniert L1- und L2-Strafe und eignet sich bei korrelierten Merkmalen. Adaptive Lasso verwendet gewichtete L1-Strafe mit adaptiven Gewichten. Group Lasso fördert die Selektionsentscheidungen auf Gruppenniveau, während Fused Lasso Sparsamkeit mit Glättung in geordneten Merkmalsstrukturen verbindet.

Lösungsverfahren umfassen koordinatenabstiegsbasierte Algorithmen und Pfadalgorithmen wie LARS, die Koeffizientenänderungen kontinuierlich beim Verringern von λ verfolgen. Die Wahl von λ erfolgt typischerweise per Kreuzvalidierung oder Informationskriterien.

Vorteile sind interpretierbare, sparsamen Modelle und gute Performanz in der Vorhersage bei vielen Merkmalen. Nachteile umfassen Verzerrungen der Koeffizienten und Instabilität bei stark korrelierten Prädiktoren, da die Auswahl zwischen korrelierten Merkmalen variieren kann.

Anwendungsbereiche umfassen Genomik, Finanzwesen, Bild- und Signalverarbeitung sowie Umweltforschung. Typische Softwareimplementierungen finden sich in R (glmnet, LARS), Python (scikit-learn) und anderen wissenschaftlichen Paketen.