Parametriavaruuden
Parametriavaruus on joukko kaikkia mahdollisia arvoja, joita käytetään kuvaamaan perhettä malleja tai järjestelmiä. Se määrittelee, millä arvoilla malli voi käyttäytyä, ja sen tutkiminen auttaa ymmärtämään mallin ominaisuuksia sekä sen sovittamista dataan.
Jos malli f riippuu parametreista θ = (θ1, ..., θn), niin parametriavaruus Θ on yleensä osajoukko R^n. Θ voi olla suoraviivainen
Esimerkkejä: Lineaarinen regressio y = a x + b määrittelee parametriavaruuden Θ = R^2, jossa parametrit ovat a ja b.
Rooli käytännössä: Estimoinnissa ja optimoinnissa etsitään Θ:stä arvoja, jotka parantavat mallin sovitusta dataan tai maksimoivat todennäköisyyden.
Hyperparametrit eroavat parametreista: ne säätelevät mallin rakennetta tai oppimisprosessia eivätkä suoraan mallin sisäisiä arvoja. Hyperparametrien optimointi
Haasteita ja piirteitä: identifiabiliteetti, mahdollinen yli- tai alioppiminen, rajoitteiden aiheuttamat monotoniaisuudet sekä suuri ulottuvuus voivat vaikuttaa