gradientpõhised

Gradientpõhised meetodid on optimeerimismeetodid, mis kasutavad eesmärkfunktsiooni gradienti, et suunata lahenduse otsing optimaalse väärtuse poole. Need meetodid on keskse tähtsusega nii matemaatilises optimeerimises kui ka masinõppes, kus eesmärk on diferentseeruv funktsioon kahjumifunktsiooni vähendamine või paremate parameetrite leidmine.

Põhimõte: iga iteratsioonis arvutatakse praeguse lahenduse gradient ja lahendus uuendatakse gradienti vastassuunas. Samm võib olla konstantne või adaptiivne; mõnel juhul kasutatakse line search’i, et leida sobiv sammupikkus. Kõige tuntumad gradientpõhised meetodid on gradient descent ehk gradiendi langetamine ning selle variandid nagu stochastic gradient descent (SGD) ja mini-batch SGD. Täiendavaid tehnikaid on momentum, Nesterov momentum ning adaptatiivsed mehhanismid nagu Adam ja RMSProp.

Eelised ja piirangud: gradientpõhised meetodid on sageli väga skaleeritavad ja sobivad suurte andmekogumite jaoks, kui kahjumifunktsioon on diferentseeruv. Need on lihtsad ja kiiresti konvergeeruvad, kuid võivad jääda lokaalse optima juurde või seiskuda saddle-punktides. Õige sammupikkus ning regulaariseerimine on sageli vajalik.

Ajalugu ja rakendused: gradientpõhised meetodid pärinevad 19. sajandi lõpust (Cauchy) ning on sellest ajast edasi arenenud. Masinõppes ning eriti sügavõppes on need meetodid saanud laialdasemaks alates 1990ndatest. Neid kasutatakse laialdaselt nii klassikalises logistilises regressioonis kui ka keerukates närvivõrkudes ja muudes diferentseeruvates optimeerimisprobleemides.