Häviöfunktio

Häviöfunktio on tilastotieteessä ja koneoppimisessa käytetty mittari, joka quantifioi mallin ennusteiden ja havaittujen arvojen välisen eron. Sen arvo on tyypillisesti ei-negatiivinen ja se pienenee, kun mallin suoritus paranee. Häviöfunktio toimii usein koulutusvaiheen tavoitteena, jonka avulla mallin parametrit optimoidaan pienentämään kokonaishäviötä (kustannusfunktiota).

Häviöfunktioita voidaan jakaa tehtävän mukaan. Regressioniin tarkoitetut häviöt mittaavat, miten tarkasti jatkuvat arvot ennustetaan (esimerkiksi keskimääräinen neliövirhe, MSE, tai keskimääräinen absoluuttinen virhe, MAE). Luokittelussa käytetään todennäköisyyteen perustuvia häviöitä kuten ristiin entropian häviö (log loss) tai margin-häviö, kuten hinge loss.

Ominaisuuksiin kuuluu, että häviö on usein ei-negatiivinen ja pienin arvo saavutetaan, kun ennuste vastaa totuutta mahdollisimman hyvin. Monien yleisten häviöfunktioiden konveksisuus tai sen kaltaiset ominaisuudet helpottavat optimointia gradienttipohjaisilla menetelmillä. Koulutusprosessissa häviö yhdistetään usein säännöllistämiseen parantamaan yleistyvyyttä.

Esimerkkejä: MSE painottaa suuria virheitä voimakkaasti, kun taas MAE on robustimpi poikkeavien havaintojen suhteen. Cross-entropy soveltuu probabilististen ennusteiden optimoimiseen luokittelussa, ja hinge-häviötä käytetään tukivektoripohjaisissa malleissa. Häviöfunktioita valitaan tehtävän ja datan ominaisuuksien mukaan.