Modellutrymme

Modellutrymme är inom statistik och maskininlärning termen för den uppsättning av möjliga statistiska modeller som beaktas vid modellval eller prognos. Varje modell definierar en specifik struktur för hur data relateras till de förklarande variablerna, inklusive vilka variabler som ingår, hur de används (linjär eller icke‑linear form) och eventuella restriktioner på parametrarna. Modellutrymmet kan vara diskret, till exempel när man väljer vilka prediktorer som inkluderas i en regressionsmodell, eller kontinuerligt när olika funktioner eller interaktioner införs.

I praktiken innebär modellutrymmet ofta att man överväger olika undermodeller eller olika funktionsformer. Exempelvis kan ett linjärt regressionsmodellutrymme bestå av modeller med olika uppsättningar av förklarande variabler; ett bredare utrymme kan även innehålla polynomtermer eller interaktioner, eller olika länkar i generalized linear models.

Vid modellval används olika kriterier och metoder för att slå fast vilka modeller som är förenliga med data. Vanliga verktyg är informationskriterier såsom AIC och BIC, sannolikhetstester, korsvalidering eller annat mått på prestanda. Sökningen i modellutrymmet kan bli kantad av combinatorisk explosion i högdimensionella problem, vilket motiverar heuristiska sökstrategier (till exempel stegvis selektion) eller regulariseringstekniker som Lasso och Elastic Net som indirekt begränsar modellutrymmet.

Ur ett bayesianskt perspektiv behandlas modellutrymmet som en mängd modeller med priors och posterior sannolikheter, där modellgenomgång (model averaging) kan användas för att kombinera information över modeller. Modellutrymmets sammansättning är central för slutsatsernas stabilitet och förutsägbarhet.