Überanpassung

Überanpassung, oft als Overfitting bezeichnet, ist ein Phänomen beim maschinellen Lernen, bei dem ein Modell die Trainingsdaten zu exakt nachbildet, einschließlich Rauschen und Ausreißern, und dadurch bei neuen, ungekannten Daten schlecht generalisiert.

Ursachen sind ein Ungleichgewicht zwischen Modellkomplexität und der verfügbaren Datenmenge. Zu komplexe Modelle, eine hohe Dimensionalität, zu wenige Trainingsbeispiele, Rauschen in den Daten sowie zu lange Trainingsläufe ohne Regularisierung begünstigen Überanpassung.

Auswirkungen bestehen darin, dass die Modellleistung auf den Trainingsdaten sehr gut erscheint, während die Generalisierung auf Test- oder Einsatzdaten erheblich darunter liegt. Dadurch entsteht eine hohe Varianz und eine geringere Robustheit gegenüber unbekannten Daten.

Beispiele für überangepasste Modelle sind tiefe Entscheidungsbäume, Polynomregression hohen Grades bei kleinen Datensätzen oder neuronale Netze, die ohne ausreichende Regularisierung zu stark an Trainingsmustern festhalten.

Verhütungsmaßnahmen umfassen Methoden zur Begrenzung der Modellkomplexität und zur Verbesserung der Generalisierung. Dazu gehören das Aufteilen der Daten in Trainings-, Validierungs- und Testmengen, Cross-Validation, Regularisierung (L1 oder L2), Early Stopping, Merkmalsselektion, Datenaugmentation sowie der Einsatz von Dropout oder Ensemble-Methoden wie Bagging.

Diagnoseinstrumente sind Lernkurven, Validierungs- versus Trainingsleistung, Bias-Varianz-Analyse und Cross-Validationsergebnisse. Durch sorgfältige Modellwahl und -bewertung lässt sich Überanpassung in der Praxis oft rechtzeitig erkennen und vermeiden.