Regularisierungstechniken

Regularisierungstechniken sind Methoden, die darauf abzielen, die Generalisierung von statistischen Modellen und maschinellen Lernsystemen zu verbessern, indem sie die Komplexität des Modells begrenzen. Sie fügen dem Optimierungsziel eine Strafe hinzu, die große oder komplexe Parameterwerte minimiert. Die Wahl der Technik hängt von der Aufgabenstellung, vom Datensatz und vom Modelltyp ab.

Penalty-basierte Verfahren gehören zu den am häufigsten eingesetzten Regularisierungsmethoden. L1-Regularisierung (Lasso) addiert die Summe der absoluten Koeffizienten und führt oft zu sparsamen Modellen, bei denen Koeffizienten exakt null werden. L2-Regularisierung (Ridge) nutzt die Summe der Quadrate der Koeffizienten; sie schrumpft Werte gleichmäßig und verringert die Varianz, ohne notwendigerweise Koeffizienten auf null zu setzen. Elastic Net kombiniert L1- und L2-Regularisierung und vereint deren Vorteile. In neuronalen Netzen entspricht L2-Regularisierung oft dem Gewichtszerfall (weight decay).

Weitere Techniken umfassen Dropout, das während des Trainings zufällig vermehrt Verbindungen oder Neuronen deaktiviert und so Adaption und Überanpassung reduziert; Early Stopping, das das Training beendet, wenn die Validierungsleistung sich verschlechtert; sowie Data Augmentation, das durch erweiterte Trainingsdaten die Varianz reduziert und so Regularisierungseffekte erzeugt. Aus bayesianischer Sicht entspricht Regularisierung dem Einführen von Priors, etwa einem Gaussian-Prior (L2) oder einem Laplace-Prior (L1).

Anwendung, Vorteile und Grenzen: Regularisierung verbessert die Generalisierung insbesondere bei begrenzten oder hochdimensionalen Daten und bei Multikollinearität. Zu starke Regularisierung kann jedoch zu Unteranpassung führen. Die geeignete Regularisierungsstärke wird typischerweise über Cross-Validation oder Bayesian-Methoden bestimmt.