Gradienttialgoritmeihin

Gradienttialgoritmeihin viittaa joukko optimointi- ja laskentamenetelmiä, jotka hyödyntävät gradienttitietoa kohdefunktion f(x) minimoimiseksi tai maksimoimiseksi. Yleensä f on eritelty ja x kuuluu nulll 2 tai suurempaan ulottuvuuteen R^n. Gradientti ∇f(x) kertoo funktion jyrkimmän noususuoran, ja käytännössä haitallinen suunta on sen negatiivinen jana, sillä -∇f(x) on jyrkimmän laskusuunnan suunta. Tämän vuoksi gradienttialgoritmit etenevät askeleittain kohti pienempää arvoa.

Perus päivityskaava on x_{t+1} = x_t - α_t ∇f(x_t), jossa α_t on askelpituus tai oppimiskorkeus. Eri algoritmit käyttävät erilaisia tapoja määrittää α_t ja gradientin affectiona: line search tai ajastettu oppimiskorkeus. Yleisesti gradienttialgoritmit sopivat hyvin jatkuvasti eriteltyjen tavoitteiden minimointiin.

Verrattuna batch-gradient descentiin, jossa gradientti lasketaan koko datasarjasta, on stokastinen gradienttien descent SGD käytössä yksittäisiä esimerkkejä, mikä nopeuttaa päivityksiä suurissa tietojoukoissa mutta voi aiheuttaa korkeataahtista konvergenssia. Mini-batch gradient descent yhdistää edellisten etuja pienillä erillä dataa. Saatavilla on lukuisia variaatioita: momentum ja Nesterovin vaihtoehdot parantavat konvergenssia nopeilla muuttuvilla osoitteilla; adaptiiviset menetelmät kuten Adagrad, RMSProp ja Adam mukauttavat oppimiskorkeuden jokaiselle parametreelle.

Käytännössä gradienttialgoritmit menestyvät etenkin konveksisissa ongelmissa ja hyvin käyttäytyvissä funktioissa. Epäkonveksissa optimointiongelmissa saattaa esiintyä lokalisia minimeja tai saddle-pisteitä, jolloin teknikat kuten oppimiskorkeuden säätö, line search, normalisointi ja gradient clipping voivat auttaa.

Näytteet sovellukset ovat laajasti koneoppimisessa, tilastollisessa estimoinnissa sekä teknisissä optimoinneissa. Gradienttialgoritmit muodostavat keskeisen kehyksen erilaisten mallien ja funktioiden kouluttamiseen ja parantamiseen.