optimointimenetelmiin

Optimointimenetelmät ovat algoritmeja, joiden tarkoituksena on löytää tavoitefunktion optimaali arvo eli minimoida tai maksimoida kyseinen funktio rajoitteiden vallitessa. Niitä käytetään laajasti insinööritieteissä, taloustieteissä, operaatioiden tutkimuksessa ja koneoppimisessa. Ongelmat voivat olla sekä jatkuvia että diskreettejä, ja niissä voi olla differentiaaleja tai olla derivative-free. Usein rajoitteita on sekä epämuuttuvia (esimerkiksi ylä- ja alarajat) että monimutkaisia (uces,kulkuja, epälineaarisia rajoitteita).

Klassinen ja uusiotuotantoinen jako jakaa menetelmät useisiin ryhmiin. Deterministiset menetelmät tuottavat saman ratkaisun saman syötteen vallitessa, kun taas stokastiset menetelmät voivat johtaa eri ratkaisuihin ja ovat hyödyllisiä epävarmuuden sekä monimuotoisten ratkaisualueiden hallinnassa. Paikkakohtaiset (paikalliset) menetelmät löytävät yleensä paikallisen miniminsin, kun taas globaaleihin optimointeihin pyritään löytämään koko ratkaisuavaruuden paras arvo. Derivative-based menetelmät hyödyntävät gradientteja ja Hessian-matiltoja, kun taas derivative-free menetelmät, kuten Nelder–Mead -algoritmi tai pattern search, eivät vaadi derivaattoja.

Esimerkkejä perusmenetelmistä ovat gradienttilaskuun perustuvat menetelmät (gradienttien ja kvasi-Newtonin lähestymistavat), konveksien ongelmien sisäpuolinen optimointi ja lineaarinen sekä epälineaarinen ohjelmointi. Globaalissa optimoinnissa käytetään esimerkiksi geneettisiä algoritmeja, simuloitua annealingia, tabu-hakua, partikkelihälyä sekä Bayesin optimointia, joita sovelletaan usein kalliisti arvioitavien tai monimutkaisten funktioiden ongelmiin.

Optimointimenetelmien valintaan vaikuttavat ongelman luonne (jatkuva vs diskreetti, konveksius, rajoitteet), ovellan epävarmuustekijät, laskenta-aika sekä tavoiteltavan ratkaisun laatu. Usein käytetään hybridejä, joissa useita menetelmiä yhdistetään parempien tulosten saavuttamiseksi.