Modellkomplexitet

Modellkomplexitet är ett begrepp inom statistik, maskininlärning och modellering som beskriver hur mycket kapacitet en modell har att fånga strukturer i data. Den omfattar allt från arkitektur och antal parametrar till hur fininnställd modellen kan vara. Generellt ökar komplexiteten modellens uttrycksförmåga men också risken för överanpassning till träningsdata.

Vid inlärning uppstår en bias- och variansbalans: en enkel modell kan ha hög bias och underfitta data, medan en mycket komplex modell kan få låg bias men hög varians och överanpassa. Den optimala komplexiteten beror på mängden och variationen i data samt hur mycket brus som finns i data.

Mått på modellkomplexitet inkluderar antalet parametrar och arkitekturens djup och bredd, samt effektiva antal frihetsgrader. Inom teorin används också mått som Vapnik–Chervonenkis-dimension och Rademacher-komplexitet. Praktiska metoder för att hantera komplexitet inkluderar regularisering (L1/L2), tidig stoppning, sparsifiering och funktionellt urval; informationskriterier som AIC och BIC används för modellurval.

Valet av modell bör balanseras mot datamängd och krav på tolkningsbarhet. Med större dataset kan man ofta använda mer komplexa modeller utan att försämra generalisering, men det kräver noggrann validering och uppföljning av prestanda på ny data.