Hyperparametreista

Hyperparametreista on kyse malleihin ennen koulutusta asetettavista arvoista, joita ei opita datan avulla. Ne määrittävät, miten malli oppii ja miten se käyttäytyy eri tilanteissa. Toisin kuin mallin parametrit (kuten painot ja bias), joita optimoidaan koulutuksessa datasta, hyperparametrit ovat koulutusta ohjaavia valintoja, joita voidaan säätää useisiin tavoitteisiin.

Yleisimmät hyperparametrit liittyvät oppimisprosessiin, arkkitehtuuriin ja regularisointiin. Esimerkkejä ovat oppimisnopeus, batch-koko, epochien määrä, kerrosten määrä ja niiden yksiköiden määrä, aktivointifunktiot sekä säännöllistö (L1- tai L2-regularisointi), dropout-prosentti ja optimointialgoritmi (esim. SGD, Adam). Monissa malleissa valitaan myös arkkitehtuurin parametreja, kuten syvyyden ja laajuuden rajoja sekä datan esikäsittelyä koskevat valinnat.

Hyperparametrien säätö, eli hakeminen, ajoitetaan usein erillisellä validointikehyksellä. Tavallisimmat lähestymistavat ovat grid search ja random search, sekä nykyaikaisemmat menetelmät kuten Bayesian optimization ja AutoML-ratkaisut. Eri kokeilujen tuloksia arvioidaan valitulla validointidatalla, ja tavoitteena on löytää yhdistelmä, joka parantaa suorituskykyä ja yleistystä ilman kohtuuttomia laskenta- ja aikakustannuksia.

Hyperparametrien hallinta tuo haasteita, kuten suuren hakutilan ja laskennalliset kustannukset, sekä mahdollisuuden epätoivottuihin tuloksiin. Hyöty on kuitenkin usein parempi suorituskyky ja helpompi toistettavuus, kun käytetyt parametriyhdistelmät on tallennettu ja testattu.