Gradienttipohjaisia

Gradienttipohjaisia on nimitys lähestymistavoille ja malleille, joissa optimoitavaa tavoitefunktiota ohjataan sen gradientin eli osittaisderivaattojen avulla. Tällaisissa menetelmissä parametrit päivitetään siten, että tavoitefunktion arvo pienenee (minimoidaan) tai kasvaa (maksimoidaan) suunnassa, jonka gradientti määrittää. Edellytyksenä on differentiointi, ja gradientin laskeminen voidaan toteuttaa manuaalisesti tai automaattisen differentioinnin avulla.

Yleisimmät gradienttipohjaiset algoritmit ovat gradient descent ja sen variaatiot: batch-, mini-batch- ja stochastic gradient descent. Näihin liittyvät parannukset, kuten momentum, Nesterovin acceleraatio sekä adaptiiviset optimointimenetelmät AdaGrad, RMSprop ja Adam, parantavat konvergenssia ja vakaavuutta erityisesti suurten mittaluokkien ongelmissa. Neuroverkkojen koulutuksessa gradientit lasketaan käyttämällä takaisinkytkentää eli backpropagationia.

Gradienttipohjaisia menetelmiä käytetään laajasti koneoppimisessa, tilastollisessa optimoinnissa ja suunnittelussa. Niitä sovelletaan esimerkiksi luokitus- ja regressiotehtäviin, neuroverkkojen koulutukseen sekä moniin säätö- ja optimointiongelmiin, joissa tavoitefunktion gradientti on laskettavissa automaattisen differentioinnin avulla.

Haasteita ovat ei-konveksit optimointialueet, paikalliset minimit sekä suuret gradienttien muutokset syvissä malleissa. Lisäksi gradienttipohjaiset menetelmät vaativat differentiatiivisen tavoitefunktion sekä sopivan oppimisnopeuden valinnan ja säännöstelyn (regularisoinnin) toteuttamisen.

Historia: Gradienttien hyödyntäminen juontaa juurensa monimuuttujaoptimoinnin varhaisiin vaiheisiin; nykyään gradienttipohjaiset menetelmät ovat keskeinen osa koneoppimista ja syväoppimista.