Validierungsmenge

Die Validierungsmenge (Validation Set) ist ein Teil des verfügbaren Datensatzes, der während der Modellentwicklung von den Beispielen getrennt gehalten wird. Sie dient dazu, ein trainiertes Modell während des Lernprozesses zu bewerten, Hyperparameter zu wählen und frühzeitiges Stoppen (Early Stopping) zu unterstützen. Im Gegensatz zur Testmenge wird die Validierungsmenge in der Regel bereits während der Entwicklungsphase genutzt und nicht zur abschließenden Bewertung des endgültigen Modells.

Aufbau und Aufteilung: Die Validierungsmenge entsteht meist durch eine Holdout-Aufteilung oder durch mehrfache Faltung bei Kreuzvalidierung. Häufig werden 5–20 Prozent der Daten als Validierungsdatensatz abgetrennt. Bei ungleichen Klassenverteilungen empfiehlt sich eine stratifizierte Aufteilung.

Zweck und Anwendung: Die Validierungsmenge wird verwendet, um die Modellleistung bei verschiedenen Hyperparametern zu vergleichen, Modelle zu wählen und Lernfortschritte zu überwachen. In der Praxis kommt oft Early Stopping zum Einsatz, wobei die Leistung auf der Validierungsmenge beobachtet wird, um das Training zu beenden, bevor das Modell überanpasst.

Abgrenzung: Die Testmenge dient der abschließenden Beurteilung der endgültigen Modellvariante und bleibt unverändert bis zur Veröffentlichung. Die Validierungsmenge sollte strikt von der Trainingsmenge getrennt bleiben, um Datenleckagen zu vermeiden.

Metriken: Je nach Aufgabe werden Metriken wie Genauigkeit, F1‑Score, RMSE oder MAE verwendet. Bei Cross-Validation werden die Ergebnisse über alle Folds gemittelt.