Regularisierungsparameter

Regularisierungsparameter bezieht sich auf einen Hyperparameter in statistischen Modellen und im maschinellen Lernen, der die Stärke eines Regularisierungsterms festlegt, der der Verlustfunktion hinzugefügt wird. Durch Regulierung der Modellkomplexität sollen Überanpassung reduziert und Generalisierung verbessert werden.

Gängige Regularisierungstypen sind L2-Regularisierung (Ridge), die der Verlustfunktion eine Strafe proportional zur Summe der quadrierten Koeffizienten hinzufügt, und L1-Regularisierung (Lasso), die die Summe der Beträge der Koeffizienten verwendet und oft zu sparsamen Modellen führt. Elastic Net kombiniert beide Formen und ermöglicht eine gemischte Strafe. In vielen Implementierungen wird der Parameter mit λ bezeichnet; in anderen Kontexten erscheinen auch Bezeichnungen wie Alpha oder eine Kombination aus λ und einem zusätzlichen Anteil (z. B. L1-Anteil, l1_ratio). In neuronalen Netzen entspricht Weight Decay im Wesentlichen einer L2-Regularisierung.

Der Regularisierungsparameter steuert den Bias-Varianz-Trade-off: Ein kleines λ erlaubt eine flexiblere Anpassung an die Trainingsdaten, führt daher zu niedrigerem Bias, aber höherer Varianz; ein großes λ vereinfacht das Modell stärker, erhöht den Bias, reduziert die Varianz. L1 neigt zusätzlich zur Sparsamkeit der Koeffizienten.

Die optimale Wahl erfolgt meist durch Kreuzvalidierung oder andere Hyperparameter-Optimierungsmethoden. Alternativ werden Informationskriterien oder bayesische Ansätze genutzt. Die Suche erfolgt typischerweise in log-Skalierung über mehrere Größenordnungen.

In der Praxis ist der Regularisierungsparameter ein Hyperparameter außerhalb des eigentlichen Trainingsprozesses; Softwarepakete verwenden unterschiedliche Bezeichner und Standardwerte. Eine sorgfältige Abstimmung verbessert oft die Generalisierung, insbesondere bei hochdimensionalen Daten.