Gradienttialgoritmit

Gradienttialgoritmit ovat optimointimenetelmiä, jotka käyttävät kohdefunktion gradienttia sen minimin löytämiseksi. Ne toimivat iteratiivisesti pienentäen funktiota kohti paikallista tai globaalia minimiä. Yleinen päivitys on θ_{t+1} = θ_t - η_t ∇f(θ_t), jossa η_t on oppimisnopeus ja ∇f(θ_t) gradientti kohdefunktiosta. Gradienttialgoritmeja sovelletaan sekä lineaarisiin että epälineaarisiin ongelmiin, ja niitä voidaan käyttää erilaisten mallien parametrien estimointiin.

Eri muunnelmat perustuvat siihen, mistä datasta gradientti lasketaan. Batch-menetelmä käyttää koko aineistoa kerrallaan, stochastic-gradient descent (SGD) käyttää yksittäisiä näytteitä, ja mini-batch -menetelmät käyttävät pieniä näytteiden kokoelmia. Näiden toimintatyylien ero vaikuttaa oppimisnopeuteen ja vakaan konvergoinnin luonteeseen. Useita lisämuunnelmia parantaa nopeutta ja vakaata konvergenssia: momentum ja Nesterovin esikirjoitus parantavat konvergenssia etenkin vinossa maisemassa; AdaGrad, RMSProp ja Adam tarjoavat adaptatiivisen oppimisnopeuden, joka muuttuu jokaiselle parametriarvolle. Yleisömandaatit mukaan otetaan myös säännöllistäminen (esim. L1- tai L2-säännöllistäminen) sekä varhaisen pysähtymisen käytäntö.

Sovellukset kattavat koneoppimisen koulutuksen, tilastollisen mallintamisen ja signaalin/tiedon käsittelyn sekä ohjausjärjestelmät. Gradienttialgoritmit ovat avainasemassa tilanteissa, joissa kohdefunktion gradientti on helposti laskettavissa, mutta analyyttinen ratkaisu ei ole saatavilla. Niiden valintaan vaikuttavat konvergenssintasot, ongelman kartoitettu muoto ja saatavilla oleva laskentaresurssi.