Satunnaishakuja

Satunnaishakuja ovat menetelmät, joissa hakutilaa tutkitaan satunnaisella otannalla. Termi kattaa sekä tilastolliset otanta- ja kokeilumenetelmät että stokastiset optimointiratkaisut. Puhdas satunnaishaku arpoo pisteet hakutilasta, arvioi jokaisen pisteen tavoitefunktion ja tallentaa parhaan löydetyn ratkaisun. Haku voidaan suorittaa usean aloituspisteen kautta (satunnainen uudelleenkäynnistys) parantamaan kattavuutta.

Optimoinnissa puhdas satunnaishaku on yksinkertainen eikä se vaadi gradientteja tai mallin erittelyä. Se soveltuu tilanteisiin, joissa tavoitefunktio on epälineaarinen tai monimodaalinen eikä rakenteesta ole luotettavaa tietoa. Edut: helppous, ei riippuvuutta gradienttien tai mallien tarkasta tuntemuksesta. Haitat: suurissa tiloissa kustannukset voivat olla korkeat, ja menetelmä ei välttämättä löydä globaalin optimaalisen ratkaisun lähestymistapaa pienellä budjetilla.

Variantteja ovat puhdas satunnaishaku, random-restart-hill climbing, stokastinen globaalihaku sekä Monte Carlo -menetelmät. Ne eroavat siinä, miten pisteet arvotaan ja miten edistystä mitataan. Yleensä otanta voidaan tehdä tasaisesti tai mukautetusti tietyn jakauman mukaan. Satunnaishaukkua voidaan liittää paikallishakuun tai muihin optointialgoritmeihin parantaakseen suorituskykyä.

Sovelluksia ovat muun muassa hyperparametrien optimointi koneoppimisessa, simulointijärjestelmien suunnittelu, kokeellinen suunnittelu sekä tilastollinen tutkimus. Rajoitukset ja käytännön huomioita: satunnaishaku on usein tehottomin suurissa hakutiloissa eikä se takaa globaalin optimaalisuuden löytämistä pienellä budjetilla. Toistettavuus paranee käyttämällä samaa siemenarvoa suorituksissa ja määrittelemällä pysäytys- ja arviointikriteerit.