Minimointiongelmassa
Minimointiongelmassa etsitään muuttuja x siten, että funktio f(x) saa mahdollisimman pienen arvon annetuissa ehdoissa. Yleinen muoto on min f(x) tietyllä kelvollaisella alueella X, jota määritellään rajoitteilla kuten gi(x) ≤ 0 ja hi(x) = 0. X voi olla koko R^n tai sen osajoukko, jonka sisällä ratkaisu on mahdollinen. Minimointiongelmaa voidaan tarkastella sekä ei-rajoitettuna että rajoitettuna.
Unconstrained minimointi tarkoittaa tilannetta, jossa X = R^n, joten etsitään piste, jossa gradientti on nolla ja mahdolliset
Ominaisuudet ja toteutukset vaihtelevat: jos f on konveksi ja X on konveksi joukko, minimointi on yksiselitteinen
Menetelmät sisältävät gradienttihakua ja line searchia, kun f on differentiable, sekä proksimoituja ja sisä- tai aktiivis-rajamenetelmiä