Gradienttijohteiset

Gradienttijohteiset menetelmät, eli gradienttihin perustuvat optimointimenetelmät, pyrkivät löytämään kohdefunktion f minimin tai maksimoinnin muuttujien arvoilla. Perusideana on käyttää funktions gradienttia ∇f(x) ohjaamaan koordinaattien päivitys kohti parempaa arvoa. Yksinkertainen päivitys on x_{k+1} = x_k - η ∇f(x_k), jossa η on oppimisnopeus. Gradientti kertoo, miten f muuttuu lyhyellä hiipimisvälillä, ja negatiivinen gradientti osoittaa nopeimman suoran suunnan kohti pienempää arvoa (minimiä).

Gradienttijohteisia menetelmiä on lukuisia. Yleisimmät ovat gradientti-laskeutuminen (gradient descent) ja sen variantit. Stokastinen gradienttilaskeutuminen (SGD) ja sen minibatch-versiot soveltuvat suurten datamäärien optimointiin: gradientti lasketaan vain osasta dataa kerrallaan, mikä nopeuttaa kierroksia mutta lisää kohinaa päivityksiin. Line-search-tekniikalla etsitään sopiva askelpituus dynaamisesti kullakin askeleella. Rajoitetuissa ongelmissa käytetään projisoitua gradienttiasetusta, jossa päivitys projisioidaan sallitulle alueelle. Proksimaalinen gradienttimenetelmä laajentaa gradienttijohteisia lähestymistapoja, kun kohdefunktio on epädiffersiöitävissä, mutta sen avulla voidaan hyödyntää lähisääntöjä.

Käytännössä gradienttijohteiset menetelmät ovat tehokkaita monissa koneoppimis- ja optimointitehtävissä, kuten neuroverkkojen koulutuksessa, lineaarisessa ja epälineaarisessa ohjelmoinnissa sekä säätö- ja taloustieteellisissä sovelluksissa. Ne vaativat differentiabilityä ja voivat altistua paikallisille minimeille tai huijauksille epälineaarisissa ongelmissa; oikea oppimisnopeus ja lisämenetelmät, kuten momentum, adaptiviset oppimisnopeudet (Adam, RMSProp) tai Nesterov-kiihdytys, voivat parantaa konvergenssia.gradienttijohteiset menetelmät ovat yleinen perusta modernille optimaatiolle ja oppimiselle, mutta niiden valinta ja parametrointi riippuvat ongelman luonteesta.