Hyperparametri

Hyperparametri on koneoppimismallin koulutusta ohjaava asetus, joka määritellään ennen oppimista. Toisin kuin mallin parametrit, joita algoritmi oppii datasta, hyperparametrit pysyvät kiinteinä koulutuksen aikana ja vaikuttavat sekä oppimisen tehokkuuteen että mallin yleistyvyyteen.

Yleisiä hyperparametreja ovat oppimisnopeus (learning rate), optimointialgoritmi (esim. SGD, Adam), sekä batch-koko. Arkkitehtuurin hyperparametrit kuten piilotettujen kerrosten määrä ja yksiköiden lukumäärä määrittävät mallin kapasiteetin. Säännöllistämiseen käytetään L1- tai L2-regularisointia sekä dropoutia. Muita tärkeitä parametreja ovat datan esikäsittelyyn liittyvät asetukset, kuten augmentaatio, sekä mallikohtaiset parametrit kuten tukivektorikoneen ydin (kernel) SVM:ssä.

Hyperparametrien optimointi voidaan tehdä manuaalisesti tai järjestelmällisesti. Yleisimmät menetelmät ovat grid search, random search ja bayesiläinen optimointi. Kehittyneemmät lähestymistavat kuten Hyperband tai AutoML-työkalut voivat automatisoida sekä hakuprosessin että valinnan.

Hyperparametrien valinnat vaikuttavat sekä suorituskykyyn että koulutuksen kestoon. Ne voivat olla herkästi riippuvaisia datasta ja johtaa sekä yli- että alisuoritusriskeihin, jos niitä ei valita huolellisesti. Hyvä käytäntö on käyttää erillistä validointijoukkoa tai ristivertaista arviointia, toistaa kokeiluja useilla siemenillä ja dokumentoida sekä raportoida valinnat sekä niiden vaikutukset.