gradientalapú
Gradientalapú megközelítések olyan optimi- zációs és tanulási módszerek, amelyek a célfüggvény gradiensét használják a keresési irány meghatározására. A gradiens megmutatja, hogy a függvény melyik irányban nő a leggyorsabban, ezért minimizálás esetén ezt az irányt gyakran ellenkező irányban követjük. Egyszerű formában a frissítés xk+1 = xk − αk ∇f(xk) alakú, ahol αk a lépésméret.
A gyakorlatban számos variáció létezik. Az alapvető különbség a gradiens számításának és felhasználásának módjában van: teljes
Előnyök közé tartozik a hatékonyság és a skálázhatóság nagy dimenziós problémákra, különösen a gépi tanulásban és
Alkalmazási területek közé tartozik a gépi tanulás, számítógépes látás, természetes nyelvfeldolgozás, mérnöki optimalizáció és vezérlési rendszerek.