Parametriyhdistelmät

Parametriyhdistelmät tarkoittaa erilaisten parametriarvojen muodostamista ja tarkastelemista yhdessä. Käytännössä ne ovat parametri- tai hyperparametrien arvojen kaikkien mahdollisten yhdistelmien joukko, joiden perusteella mallin suorituskykyä arvioidaan tai optimointia ohjataan. Parametrit voivat olla jatkuvia tai kategorisia, ja yhdistelmät muodostuvat näiden arvojen kartoituksesta.

Parametriavaruus voidaan esittää monimutkaisena tilana, jolla on dimensio jokaiselle parametrille. Yhden parametrin arvojoukko ja toisten arvojoukko muodostavat Cartesian productin, jonka koko kasvaa arvojen määrän ja parametrien lukumäärän kasvaessa. Yleisiä menetelmiä parametriyhdistelmien tutkimiseen ovat grid search (täsmällinen haku kaikkien yhdistelmien yli), satunnainen haku, latin hypercube -näytteenotto sekä Bayesian- tai muut optimointialgoritmit. Grid search on yksinkertainen mutta vähemmän tehokas korkeilla ulottuvuuksilla; satunnainen haku ja latin hypercube voivat löytää hyviä ratkaisuja vähemmällä laskennalla. Bayesian optimization suuntaa kokeilut lupaavimpiin alueisiin.

Sovelluksia ovat muun muassa hyperparametrien viritys koneoppimismalleissa, mallien parametrisektorien tutkimus simuloinneissa sekä herkkyysanalyysit, joissa selvitetään, miten tulokset reagoivat parametrimuutoksiin. Haasteina ovat laskennallinen kustannus, yhdistelmien eksponentiaalinen laajeneminen ja epävarmuus, mikä voi johtaa yli- tai alikuunteluun. Hyvä käytäntö on rajata arvojoukot viisaasti, käyttää priorisointeja ja varmistaa tulosten repproduktoitavuus.