Modellovertilpasning

Modellovertilpasning, ofte omtalt som overfitting, beskriver en situasjon der en statistisk eller maskinlæringsmodell tilpasser seg treningsdataene i detalj, inkludert støy og tilfeldigheter, slik at generalisering til nye data blir dårlig. Modellen oppnår høy nøyaktighet på treningssettet, men presterer betydelig svakere på test- eller evalueringsdata.

Årsaker inkluderer høy modellkapasitet i forhold til mengden og kvaliteten på data, kompleks alghoritme, mangelfull eller støyfylt data, samt utilstrekkelig bruk av regulering, validering eller datafordeling. Tegn på overtilpasning er en stor ytelsesforskjell mellom trening og validering/test, samt høye treningsnøyaktigheter kombinert med svake generaliseringsevner. Dette står i kontrast til underfitting, der modellen ikke fanger relevante mønstre.

Forebygging og tiltak inkluderer regulering (for eksempel L1- eller L2-regularisering), reduksjon av modellens kompleksitet, bruk av kryssvalidering, holdout-testsett, og tidlig stopp (early stopping). Dataforbedringer som datadatasaugmentasjon, innsamling av flere data og funksjonsutvelging kan også redusere overtilpasning. Ensemblingsmetoder som bagging og random forest bidrar ofte til bedre generalisering.

Evaluering bør baseres på separate validerings- eller testsett og kryssvalidering for å estimere sann generalisering. Modellevaluering følger vanligvis en tydelig bias-variance-ramme, der overtilpasning tilsvarer lav bias men høy varians. Eksempler inkluderer dypt nevrale nettverk med mange parametere på lite data, eller høygradige polynomier som fanger støy i treningssettet.