Overtilpassing

Overtilpassing, også kalt overfitting, er en tilstand i statistikk og maskinlæring der en modell lærer mønstre i treningsdataene som ikke er representationelle for den underliggende variansen i dataene. Resultatet er god ytelse på treningssettet, men svakt generaliseringsevne til nye, usette data.

Årsaker inkluderer høy modellkapasitet i forhold til mengden og kvaliteten på dataene, støy eller irrelevante variabler i dataene, utilstrekkelig representativt treningsgrunnlag, og situasjoner der data lekkes mellom trenings- og evalueringssettet. Noen metoder og scenarier som tilrettelegger for overtilpassing er også komplekse modeller, ufullstendig rensing av data og små eller ubalanserte datasett.

Konsekvenser er ofte en betydelig forskjell mellom trenings- og validerings-/testytelse, samt følsomhet for små endringer i data. Dette gjør modellen upålitelig i praksis og kan føre til feil beslutninger hvis den brukes på ny data.

Diagnostisering kan skje gjennom læringskurver som viser avvik mellom trening og validering, kryssvalidering, og hold-out tester. En plutselig, uforholdsmessig stor forbedring på treningsdata uten tilsvarende forbedring på validering tyder på overtilpassing.

Forebygging og avbøtning inkluderer å velge en enklere modell eller redusere antall parametre, bruke regularisering (L1/L2), tidlig stopp, dropout og annen form for redusering av modellens varians, samt feature selection. Det bør også tas i bruk korrekt kryssvalidering, innhente mer data eller gjøre dataøkning, og vurdere ensemble-metoder som reduserer varians og dermed risikoen for overtilpassing.