veszteségfüggvények

A veszteségfüggvények olyan matematikai függvények, amelyek egy modell előrejelzései és a valós célértékek közötti eltérést számszerűsítik. Gépi tanulásban és statisztikában loss függvényt minimalizálják az optimizációs algoritmusok (például gradiens-alapú módszerek) segítségével, így a modell paraméterei a tanulási folyamat során a jobb előrejelzés irányába módosulnak.

Gyakori típusok: regressziós feladatoknál a négyzetes hibaátlag (Mean Squared Error, MSE) és az abszolút hibaátlag (Mean Absolute Error, MAE) terjedt el; osztályozásnál a keresztentrópia (log loss) és a hinge loss (SVM-eknél) használatos. A valószínűségi szemléletben a veszteség gyakran negatív log-likelihood formájában jelenik meg, ami a modell illeszkedésének statisztikai mérője.

A veszteségfüggvények fontos tulajdonságai közé tartozik a konvexitás és a differenciálhatóság, amelyek befolyásolják az optimizáció stabilitását és sebességét. Bizonyos veszteségek robusztusabbak zajos adatokra vagy kiugró értékekre. Gyakori gyakorlat, hogy a veszteséghez regularizációs tagokat (L1, L2) adnak a túlilleszkedés csökkentése érdekében. A tanulás céljától eltérő, külső értékelési mutatók (például F1, ROC-AUC) is használhatók, és ezekhez gyakran surrogát veszteségeket választanak, amelyek optimalizálhatók.