KvasiNewtonmenetelmät

KvasiNewtonmenetelmät ovat joukko iteratiivisia optimointialgoritmeja, joita käytetään laskennallisessa matematiikassa ja tietojenkäsittelytieteessä löytämään funktioiden paikallisia minimipisteitä. Ne ovat Newtonin menetelmän muunnelmia, jotka pyrkivät ratkaisemaan ei-lineaarisia yhtälöitä tai optimointiongelmia. Newtonin menetelmä vaatii funktion toisen derivaatan (Hessin matriisin) laskemista jokaisella iteraatiolla, mikä voi olla laskennallisesti kallista tai mahdotonta joissakin tapauksissa. KvasiNewtonmenetelmät välttävät tämän laskemalla Hessin matriisin approksimaation, joka päivitetään jokaisella iteraatiolla käyttäen gradienttitietoa.

Keskeinen idea kvasiNewtonmenetelmissä on korvata todellinen Hessin matriisi tai sen käänteismatriisi approksimaatiolla. Tämä approksimaatio päivitetään käyttäen hyväksi tietoa, joka saadaan funktion arvoista ja gradienttiarvoista kahden peräkkäisen iteraatiopisteen välillä. Yleisin tapa päivittää approksimaatiota on käyttää yhtälöä, joka perustuu approksimaation ja todellisen Hessin matriisin väliseen yhtäläisyyteen tietyllä suunnalla. Tunnetuimpia kvasiNewtonpäivitysmenetelmiä ovat BFGS (Broyden–Fletcher–Goldfarb–Shanno) ja DFP (Davidon–Fletcher–Powell).

Näiden menetelmien etuna on, että ne eivät vaadi toisen derivaatan laskemista, mikä tekee niistä sovellettavissa monenlaisiin ongelmiin. Ne konvergoituvat yleensä nopeammin kuin gradienttimenetelmät, mutta eivät välttämättä yhtä nopeasti kuin puhdas Newtonin menetelmä, jos Hessin matriisi on helposti laskettavissa. KvasiNewtonmenetelmiä käytetään laajalti monilla sovellusalueilla, kuten koneoppimisessa, simuloinneissa ja teknisessä optimoinnissa. Ne ovat tehokas työkalu, kun funktion Hessin matriisin laskeminen on haastavaa.