modelkompleksitet

Modellkomplexitet beskriver en modells kapacitet att fånga variation i data. En högre komplexitet gör det möjligt att anpassa sig till fler mönster, men ökar samtidigt risken för överanpassning och därmed minskad generalisering till ny data. Begreppet innefattar både vad modellen kan göra och hur den används i praktiken, samt hur den kommunicerar osäkerhet och felaktiga antaganden.

Faktorer som påverkar komplexiteten inkluderar antalet parametrar och hur fritt de kan variera, val av arkitektur eller funktionell form samt vilka reglerande mekanismer som används. Exempelvis är en linjär modell relativt enkel, medan polynomupp till hög grad eller djupa neurala nätverk ökar kapaciteten kraftigt. Inom teoretisk statistik används mått som VC-dimension eller Rademacher-komplexitet för att beskriva en modells kapacitet abstrakt.

Huvudpoängen är bias-varians-avvägningen: mycket enkla modeller har hög bias men låg varians och kan misslyckas fånga sanna mönster, medan mycket komplexa modeller har låg bias men hög varians och överanpassar träningdata. För att kontrollera komplexiteten används metoder som regularisering (L1/L2), tidig avslutning, viktminskning eller borttagning (pruning), samt korsvalidering och informationskriterier som AIC/BIC i modellval.

Användningen av modellkomplexitet varierar med datauppsättningens storlek och mål. Vid mycket stora data kan komplexa modeller vara fördelaktiga om rätt regularisering används. Grundläggande förståelse för komplexitet hjälper till att balansera modellens precision och generalisering i praktiska tillämpningar.