Hyperparametreja

Hyperparametreja ovat opetusprosessin aikana ennen koulutuksen aloittamista määritettävät arvot, toisin kuin mallin opittavat parametrit (esim. verkon painot), jotka oppivat datasta. Hyperparametrit vaikuttavat mallin rakenteeseen, oppimisen nopeuteen ja siihen, miten hyvin malli yleistyy uusiin datoihin. Oikea valinta voi nopeuttaa konvergenssia, ehkäistä ylikehittymistä ja parantaa suorituskykyä.

Esimerkkejä hyperparametreista ovat oppimisnopeus (learning rate), malliarkkitehtuuriin liittyvät valinnat kuten kerrosten määrä ja tyypit, säännöllistämisen parametrit (esim. L2-säännöllistäminen, dropout), minipäivitysten määrä (batch size) sekä optimointialgoritmi ja sen parametrit (esim. SGD, Adam sekä momentum). Myös epochien määrä ja varhaisen pysähtymisen kriteerit voivat olla hyperparametreja. Hyperparametrit voivat koskea sekä arkkitehtuuria että oppimisprosessia; pienetkin muutokset voivat vaikuttaa suorituskykyyn ja konvergensiaan.

Hyperparametrien virittäminen voidaan tehdä manuaalisesti, mutta yleensä käytetään hakumenetelmiä kuten grid search ja random search. Tehokkaammat menetelmät, kuten bayesilainen optimointi (Gaussian-prosessien avulla), Hyperband ja muut edistyneet strategiat, voivat löytää hyviä arvoja nopeammin ja pienemmällä laskentakustannuksella. Näitä käytetään usein validaatiojoukossa tai ristivertailussa. Oikea käytäntö on rajoittaa hakua ja käyttää sisäkkäisiä menetelmiä sekä raportoida tarkasti käytetyt hyperparametrit.

Hyödyllistä on käyttää erillistä testijoukkoa sekä dokumentoida ja raportoida sovellettavat hyperparametrit ja asetukset. Liiallinen hyperparametrien viilaus yhdelle validaatiojoukolle voi johtaa ylioppimiseen; toistettavuuden varmistamiseksi on suositeltavaa tallentaa kokeiden tiedot ja käyttää satunnaisuudenhallintaa.

Työkalut kuten Optuna, Hyperopt ja Ray Tune helpottavat hyperparametrien virittämistä ja toistettavien kokeiden hallintaa.