Gradientalapú

Gradientalapú megközelítések olyan optimi- zációs és tanulási módszerek, amelyek a célfüggvény gradiensét használják a keresési irány meghatározására. A gradiens megmutatja, hogy a függvény melyik irányban nő a leggyorsabban, ezért minimizálás esetén ezt az irányt gyakran ellenkező irányban követjük. Egyszerű formában a frissítés xk+1 = xk − αk ∇f(xk) alakú, ahol αk a lépésméret.

A gyakorlatban számos variáció létezik. Az alapvető különbség a gradiens számításának és felhasználásának módjában van: teljes adathalmazon számolt gradiens (batch), mini-batch vagy teljesen mintavételesen (stochastic) SGD. Adaptív lépéshossz-szabályokkal dolgozók, például AdaGrad, RMSprop és Adam, a lépésméretet a gépelés és a gradiens magnitúdója szerint állítják be. Továbbá előfordulhatnak olyan technikák, mint a momentum vagy második-szerű példányokkal működő quasi-Newton módszerek, amelyek a Hessian-közelítéseket használják a gyorsabb konvergencia érdekében.

Előnyök közé tartozik a hatékonyság és a skálázhatóság nagy dimenziós problémákra, különösen a gépi tanulásban és a neurális hálózatok képzésében. Korlátai közé tartozik a lépésméret érzékenység, a nem konvex problémák esetén előforduló lokális minimumok vagy szédítő pontok, valamint a gradiens számításának költsége és a differentiability követelménye.

Alkalmazási területek közé tartozik a gépi tanulás, számítógépes látás, természetes nyelvfeldolgozás, mérnöki optimalizáció és vezérlési rendszerek. A gradientalapú megközelítések gyakran alapkövetelményként szolgálnak a modern algoritmusokban és modellekben.