Häviöfunktioiden

Häviöfunktioiden on tilastollinen väline, joka mittaa mallin ennusteen ja todellisen havainnon välistä poikkeamaa. Niiden minimointi opetusvaiheessa ohjaa mallia kohti todennäköisempää tai parempaa selitystä tiedoille. Usein häviöfunktio liittyy negatiiviseen log-likelihoodiin, jolloin minimointi vastaa maksimoitavan todennäköisyyden pienentämistä.

Yleisiä esimerkkejä ovat regressiossa käytetyt MSE-häviö (neliöllinen keskivirhe) ja MAE-häviö (keskimääräinen absoluuttinen virhe). Robustimpia vaihtoehtoja onHuber-häviö, joka yhdistää MSE:n ja MAE:n ominaisuuksia. Luokittelussa tavallisia ovat logistinen häviö ja ristiinentropiahäviö sekä binäärille että moniluokkaisille tapauksille. Tukivektorikoneissa käytetään hinge-häviötä. Poisson-häviö sekä muut todennäköisyyspohjaiset häviöt sopivat esimerkiksi havaintojen tilastollisille malleille, kuten count-tiedoille.

Ominaisuudet ja valinta vaikuttavat merkittävästi optimointeihin ja mallin käyttäytymiseen. Differeesiabiilius ja konveksisuus helpottavat algoritmien konvergenssia ja löytöä globaalista minimistä; epätasaisemmat tai ei-differentiableset häviöfunktiot voivat tehdä optimoinnista haasteellista. Häviöt voivat olla herkkiä poikkeaville havainnoille, mikä ohjaa robustimpien vaihtoehtojen käyttöä. Usein valinta perustuu datan oletuksiin virheiden jakaumasta sekä siihen, millaista mallin tulkintaa ja kalibrointia tarvitaan.

Yhteys tilastotieteeseen ja oppimiseen näkyy siinä, että monet häviöt ovat negatiivisia log-likelihood-kimbolaisia tai niiden projekteja. Käytännössä häviötä voidaan täydentää säännöllistämisellä (esim. L1- tai L2-penalit) sekä muilla harhautusta ehkäisevillä keinoilla.