TrainingszielFunktion

TrainingszielFunktion, häufig auch Verlustfunktion oder Kostenfunktion genannt, ist eine Funktion im maschinellen Lernen, die die Abweichung zwischen den Vorhersagen eines Modells und den tatsächlichen Zielwerten misst. Sie dient als Zielgröße des Lernprozesses: Durch Minimierung der TrainingszielFunktion suchen die Lernalgorithmen passende Parameterwerte.

Formell wird sie oft als L(θ) bezeichnet, wobei θ die Modellparameter und D die Trainingsdaten umfasst. Häufig ergibt sich L als Durchschnitt über die Beispiele: L(θ) = (1/n) Σ_i ℓ(y_i, f_θ(x_i)) + λ R(θ), wobei ℓ der per-Beispiel-Verlust, f_θ das Modell und R eine Regularisierung darstellt.

Zu den gängigen Verlustfunktionen gehören der mittlere quadratische Fehler (MSE) für Regression, der mittlere absolute Fehler (MAE), die binäre Kreuzentropie bzw. die kategorische Kreuzentropie für Mehrklassenklassifikation sowie der Hinge-Verlust für Support-Vektor-Maschinen.

Im Training werden gradientenbasierte Optimierungsverfahren eingesetzt, etwa Gradientenabstieg oder Adam. Die Verlustfunktion muss meist differenzierbar sein, damit sich Ableitungen bilden lassen; viele neuronale Netzwerke führen zu nicht-konvexen Verlustlandschaften, was lokale Minima und Plateaus begünstigen kann.

Der TrainingszielFunktion steht oft die Evaluationsmetrik gegenüber, die die Leistung auf neuen Daten misst. Ziel ist eine gute Generalisierung, nicht nur eine kleine Verlustwerte auf dem Training. Regularisierung, Datenaufbereitung und Modellwahl helfen, Überanpassung zu vermeiden.