Minimointiongelmassa

Minimointiongelmassa etsitään muuttuja x siten, että funktio f(x) saa mahdollisimman pienen arvon annetuissa ehdoissa. Yleinen muoto on min f(x) tietyllä kelvollaisella alueella X, jota määritellään rajoitteilla kuten gi(x) ≤ 0 ja hi(x) = 0. X voi olla koko R^n tai sen osajoukko, jonka sisällä ratkaisu on mahdollinen. Minimointiongelmaa voidaan tarkastella sekä ei-rajoitettuna että rajoitettuna.

Unconstrained minimointi tarkoittaa tilannetta, jossa X = R^n, joten etsitään piste, jossa gradientti on nolla ja mahdolliset toissijaiset ehdot täyttyvät. Rajoitetussa minimoinnissa X määritellään esimerkiksi tasoilla, esteillä tai unioneilla; tällöin etsitään optimaalinen x vain näissä ehdoissa.

Ominaisuudet ja toteutukset vaihtelevat: jos f on konveksi ja X on konveksi joukko, minimointi on yksiselitteinen ja usein helpommin ratkaistavissa. Olemassaolokäytännöt: jos X on kompakti ja f jatkuva, minimi on olemassa. Ensimmäisen kertalain ehdot (gradientin nolla tai KKT-ehdot) antavat hyödyllisiä tarvikehtoja optimaalisille pisteille. Korkeamman kertalaityn ehdot liittyvät useisiin rajoitteisiin ja dualiteettiin.

Menetelmät sisältävät gradienttihakua ja line searchia, kun f on differentiable, sekä proksimoituja ja sisä- tai aktiivis-rajamenetelmiä ei-differentiatiivisille tai suurille ongelmille. Käytännön sovelluksia ovat muun muassa tuotanto- ja logistiikkaproblemit, rahoitusportfoliot sekä koneoppimisen koulutuksen optimointi.