Parametervektorn

Parametervektorn är en samling av alla parametervärden som beskriver en parametisk modell. Den betecknas ofta θ (ibland β eller φ) och består av p komponenter som tillsammans avgör modellens struktur och beteende. Vektorn används för att sammanfatta de okända värden som data hjälper oss att uppskatta.

θ tillhör parameterutrymmet Θ ⊆ R^p. Givet en modell p(x; θ) används data för att uppskatta θ. Sannolikheten för datamängden är L(θ) = ∏i p(xi; θ) och log-likelihooden l(θ) = log L(θ). En viktig egenskap är identifikation: olika θ ska ge olika sannolikheter eller funktioner som beskriver data.

En vanlig uppsättning metoder för att erhålla θ är Maximum Likelihood Estimation (MLE), som söker θ som maximerar L(θ) eller l(θ) med hjälp av optimeringstekniker. Bayesianska metoder anger en prior p(θ) och beräknar en posterior p(θ|data) genom Bayes sats. Vissa problem kräver regularisering för att motverka överanpassning eller ill-posedhet; vanliga former inkluderar L1- eller L2-penalitet som påverkar värdena i θ.

I praktiken används parametervektorn för att beskriva modeller i olika domäner: i linjär regression är θ sammansatt av lutningar och intercept, i logistisk regression av vikter, och i neurala nätverk av alla vikter och biases. Inom Bayesiansk inference har θ en sannolikhetsfördelning i stället för ett fast punktsvärde. Sammanfattningsvis är parametervektorn central för hur en modell beskriver data, hur dess parameteruppskattningar görs och hur dess förutsägelser tolkas.