BiasVarianzAbwägung
Die Bias-Varianz-Abwägung ist ein zentrales Konzept des maschinellen Lernens und beschreibt das Gleichgewicht zwischen der Komplexität eines Modells und seiner Fähigkeit zur Generalisierung auf neue Daten. Ziel ist es, ein Modell zu wählen, das Daten möglichst gut erklärt, ohne sich zu stark an die Trainingsdaten anzupassen.
Bias, oder Verzerrung, bezeichnet die systematische Abweichung des erwarteten Vorhersagewertes von dem wahren Zielwert. Modelle mit
Varianz beschreibt die Empfindlichkeit der Vorhersagen gegenüber unterschiedlichen Trainingsmengen. Modelle mit hoher Varianz liefern bei Variation
Bei quadratischem Verlust lässt sich der mittlere Vorhersagefehler E[(Ŷ − Y)²] in Bias², Varianz und irreduziblen Noise-Term
Praxisrelevante Maßnahmen zur Steuerung der Abwägung umfassen Regulierung (Beispiele: Ridge, Lasso), Merkmalsauswahl, Erhöhung der Trainingsdatenmenge, Merkmalsengineering