Gradienttisäätö

Gradienttisäätö on optimointiperiaate, jossa parametrien arvoja säädetään seuraamalla kustannusfunktion gradienttia siten, että virhe pienenee. Sitä käytetään laajasti koneoppimisessa, tilastollisissa malleissa ja adaptiivisessa ohjauksessa, missä tavoitteena on minimoida virhe tai poikkeama mallin ja havaintojen välillä. Keskeinen malli on yksinkertainen kertalaskelma: annettu kustannusfunktio L(θ), pätevä gradientti ∇θ L(θ) ohjaa askelta kohti minimiä, ja päivitetään parametrien vektori θt+1 = θt − α ∇θ L(θt), jossa α on oppimisnopeus.

Säätö voidaan suorittaa kerralla koko datalla (batch- gradientti), tai havainnoista riippuvaisilla näytteillä (stochastic gradient descent, SGD) sekä pienissä erissä (mini-batch). Eri variantit parantavat konvergenssia, kuten momentum, Nesterov-lähestymistapa sekä adaptiiviset oppimisnopeudet (AdaGrad, RMSProp, Adam). Gradienttien leikkaaminen (gradient clipping) voi estää räjähdysmäistä kasvua syväverkkojen koulutuksessa.

Gradienttisäätöä käytetään yleisesti neural networkien, logistisen ja lineaarisen regressionin sekä muiden parametrien etsimisessä sekä mallin kalibroinnissa. Sen vahvuuksia ovat yksinkertaisuus ja skaalautuvuus suurien parameterien parissa; heikkouksia ovat paikalliset minimit ja kolmitasot sekä herkkyys oppimisnopeudelle ja kustannusfunktion erottelevuudelle.

Suhteet ja laajempi konteksti: gradientti-desentti sekä sen variantit ovat keskeisiä työkaluja optimoimisessa ja koneoppimisessa, ja niiden kehitys on tukenut kehittyneitä koulutusmenetelmiä kuten backpropagation.