Modellüberanpassung

Modellüberanpassung, oft Overfitting genannt, bezeichnet den Zustand, in dem ein Modell die Strukturen und das Rauschen der Trainingsdaten so exakt abbildet, dass es auf neuen, unbekannten Daten schlechter generalisiert. Es geht dabei nicht nur um exakte Genauigkeit im Training, sondern um die Fähigkeit, Muster zu erkennen, die auch außerhalb der Trainingsdaten bestehen bleiben.

Ursachen umfassen eine zu hohe Modellkomplexität gegenüber der verfügbaren Datenmenge, zu wenige Daten, Merkmalsrauschen, Datenleckagen oder unsaubere Datenvorverarbeitung. Typische Anzeichen sind hohe Trainingsgenauigkeit bei gleichzeitig niedrigerer Validierungs- oder Testleistung sowie eine große Diskrepanz zwischen Training- und Generalisierungsfehlern.

Zur Vermeidung gehören: Wahl eines angemessenen Modells, Regularisierung (L1, L2), Dropout, frühzeitiges Abbrechen des Lernprozesses, Erhöhung des Datensatzes oder Datenaugmentation, sorgfältige Aufteilung in Trainings-, Validierungs- und Testdatensatz sowie Kreuzvalidierung. Weitere Ansätze sind Merkmalsauswahl, Dimensionsreduktion, sinnvolle Metriken und der Verzicht auf Datenlecks.

Die Problematik steht im Zusammenhang mit dem Bias-Varianz-Trade-off: zu einfache Modelle weisen Bias auf, zu komplexe Modelle weisen hohe Varianz auf, wodurch Generalisierung leidet. Ein effektiver Umgang erfordert eine Balance zwischen Passgenauigkeit und Generalisierung.

Historisch stammt das Konzept aus der Statistik und dem maschinellen Lernen. Es betont, dass Modelle zwar auf vorhandenen Daten gut funktionieren können, jedoch generalisieren müssen, um zuverlässig auf unbekannten Daten zu arbeiten.