Treningsfunksjoner

Treningsfunksjoner, ofte kalt kostnadsfunksjoner eller tap-funksjoner, er matematiske funksjoner som måler forskjellen mellom modellens prediksjoner og de faktiske verdiene i et datasett under trening. Formålet er å minimere treningsfunksjonen ved å justere modellens parametre, slik at prediksjonene blir mer nøyaktige.

I maskinlæring brukes treningsfunksjoner som objektiver i optimaliseringsprosessen. Vanlige eksempler inkluderer gjennomsnittlig kvadratfeil for regresjon, gjennomsnittlig absolutt feil for regresjon og kryssentropi for klassifikasjon. For probabilistiske modeller kan treningsfunksjonen være negativ log-sannsynlighet eller Kullback–Leibler-divergence. Noen ganger kombineres en treningsfunksjon med regularisering, for eksempel L1- eller L2-regulering, hvilket gir en regulert treningsfunksjon.

Treningsfunksjoner er ofte deriverbare, slik at gradientbaserte algoritmer og bakoverpropagering kan brukes til å finne de parametrene som minimerer funksjonen. I praksis er målet ikke bare å minimere treningsfunksjonen på treningsdata, men også å oppnå god generalisering til nye data, noe som påvirkes av dataenes informasjonsinnhold, modellkompleksitet og regularisering.

Valg av treningsfunksjon påvirker konvergenshastighet, robusthet og modellens ytelse. Over- eller underfitting, skjevheter i data og numerisk stabilitet er viktige hensyn. Se også kostnadsfunksjon, objektiv funksjon og optimering.