dropouttekniikoita

Dropouttekniikat ovat säännöllistämisen menetelmiä, joita käytetään erityisesti neuroverkoissa ylisuuren oppimisen ja heikon yleistymisen vähentämiseksi. Peruside on, että koulutuksen aikana satunnaisesti poissuljetaan yksiköitä (neuroneita) verkosta todennäköisyydellä p. Tämä pakottaa verkon oppimaan robustimpia edustuksia eikä riippuvuuksia yksittäisistä yhteyksistä. Testausvaiheessa poiston ei enää tehdä, vaan verkon aktivointeja tai painojen vaikutusta skaalataan siten, että odotusarvo voidaan olettaa säilyvän.

Yleisimmät dropout-variantit. Bernoulli-dropout on perinteisin muoto, jossa kukin yksikkö on käytössä vain osan ajasta. Gaussian-dropout sen sijaan käyttää multiplicatiivista Gaussin häiriötä, joka ei poista yksiköitä kokonaan. Spatial dropout konvoluutioverkkoja varten jättää pois kokonaisia ominaisuuskanavia tai karttoja sen sijaan, että poistaisi yksittäisiä neuroneita. DropConnect poistaa satunnaisesti yhteyksiä (painoja) yksiköiden sijaan. Variational dropout liittyy bayesilaiseen näkökulmaan ja tarjoaa teoreettisen tulkinnan sekä voimistetun säännöllistämisen. Recurrent-verkkoihin kehitetyt variantit, kuten recurrent dropout ja zoneout, kohdistuvat ajalliseen riippuvuuteen säilyttäen osan edellisistä tiloista. Monte Carlo (MC) dropoutia käytetään myös ennusteen epävarmuuden arvioimiseen useilla läpimenoilla.

Käytännön huomioita. Dropoutin vaikutus voi vaihdella arkkitehtuurin ja optimoijan mukaan; esimerkiksi batch normalizationin kanssa dropoutin ajoittaminen voi vaikuttaa oppimisprosessiin. Tyypilliset dropout-suhteet ovat noin 0.2–0.5, mutta tarkka arvo riippuu tehtävästä ja datasta. Dropout on yleisesti käytetty keino parantaa yleisyyden suoritusta, mutta sen hyödyllisyys kannattaa varmistaa kokeellisesti.