kvasiNewtonpäivityksiä

Kvasi-Newtonpäivitykset ovat menetelmiä, joita käytetään optimointialgoritmeissa, erityisesti ratkaistaessa ei-lineaarisia optimointiongelmia. Ne pyrkivät approksimoimaan Newtonin menetelmän käyttämää Hessian matriisia ilman, että itse matriisia tarvitsee laskea tai inverttoida joka iteraatiolla. Newtonin menetelmä käyttää funktion toisten derivaattojen muodostamaa Hessian matriisia löytääkseen funktion minimin tai maksimin. Hessianin laskeminen voi olla laskennallisesti kallista, varsinkin korkeaulotteisissa ongelmissa.

Kvasi-Newtonpäivitykset rakentavat approksimaation Hessianille tai sen käänteiselle matriisille käyttäen gradienttitietoa edellisiltä iteraatioilta. Tämä approksimaatio päivitetään iteratiivisesti jokaisella askeleella siten, että se tyydyttää niin kutsutun sekanttiyhtälön. Sekanttiyhtälö liittää peräkkäisten gradienttien ja sijaintien muutokset toisiinsa. Yleisimpiä kvasi-Newton-menetelmiä ovat BFGS (Broyden–Fletcher–Goldfarb–Shanno) ja DFP (Davidon–Fletcher–Powell).

Näiden menetelmien etuna on, että ne voivat saavuttaa nopean konvergenssin, usein samankaltaisen kuin Newtonin menetelmä, mutta pienemmällä laskennallisella kustannuksella per iteraatio. Ne ovat erityisen hyödyllisiä, kun Hessianin laskeminen on vaikeaa tai mahdotonta, tai kun halutaan välttää suuria matriisioperaatioita. Kvasi-Newton-menetelmät ovatkin laajalti käytössä monilla tieteen ja tekniikan aloilla.