BiasVarianzAbwägung

Die Bias-Varianz-Abwägung ist ein zentrales Konzept des maschinellen Lernens und beschreibt das Gleichgewicht zwischen der Komplexität eines Modells und seiner Fähigkeit zur Generalisierung auf neue Daten. Ziel ist es, ein Modell zu wählen, das Daten möglichst gut erklärt, ohne sich zu stark an die Trainingsdaten anzupassen.

Bias, oder Verzerrung, bezeichnet die systematische Abweichung des erwarteten Vorhersagewertes von dem wahren Zielwert. Modelle mit hohem Bias neigen zu Underfitting, weil sie die zugrunde liegende Struktur der Daten zu stark vereinfachen und daher regelmäßig falsche Muster liefern.

Varianz beschreibt die Empfindlichkeit der Vorhersagen gegenüber unterschiedlichen Trainingsmengen. Modelle mit hoher Varianz liefern bei Variation der Trainingsdaten stark schwankende Ergebnisse und neigen zu Overfitting, weil sie zu sehr auf zufällige Merkmale des Trainingssatzes reagieren.

Bei quadratischem Verlust lässt sich der mittlere Vorhersagefehler E[(Ŷ − Y)²] in Bias², Varianz und irreduziblen Noise-Term σ² zerlegen. Der irreduzible Anteil ist durch die Natur der Daten gegeben und kann durch das Modell nicht reduziert werden. Die Kunst besteht darin, Bias und Varianz so auszubalancieren, dass die Gesamtsumme minimiert wird und die Generalisierung auf neue Daten möglichst gut gelingt.

Praxisrelevante Maßnahmen zur Steuerung der Abwägung umfassen Regulierung (Beispiele: Ridge, Lasso), Merkmalsauswahl, Erhöhung der Trainingsdatenmenge, Merkmalsengineering sowie Ensemble-Verfahren. Bagging-Ansätze verringern tendenziell die Varianz, Boosting-Methoden reduzieren oft den Bias, können aber die Varianz erhöhen. K-Fold-Cross-Validation dient der objektiven Einschätzung der Generalisierung.