KvasiNewtonmenetelmiä

Kvasi-Newtonmenetelmät ovat joukko numeerisia optimointialgoritmeja, joita käytetään löytämään funktioiden paikallisia minimipisteitä. Ne ovat Newtonin menetelmän muunnelmia, jotka on suunniteltu välttämään Newtonin menetelmän suurimpia haittoja, erityisesti toisten derivaattojen eli Hessen matriisin laskemisen ja sen kääntämisen tarvetta.

Newtonin menetelmä käyttää funktion toisen derivaatan matriisia (Hessen matriisia) määrittämään seuraavan askelen suunnan ja pituuden kohti minimiä. Tämä on tehokasta, mutta Hessen matriisin laskeminen voi olla laskennallisesti kallista, varsinkin korkeaulotteisissa ongelmissa. Lisäksi Hessen matriisin on oltava positiivisesti definiitti, jotta menetelmä varmasti konvergoi kohti minimiä.

Kvasi-Newtonmenetelmät kiertävät näitä ongelmia approksimoimalla Hessen matriisia tai sen käänteismatriisia. Sen sijaan, että laskisivat toiset derivaatat suoraan, ne päivittävät approksimaatiota jokaisella iteraatiolla käyttäen hyväksi gradienttitietoa edellisiltä ja nykyiseltä iteraatiopisteeltä. Yksi tunnetuimmista kvasi-Newton-päivityksistä on BFGS-kaava (Broyden–Fletcher–Goldfarb–Shanno).

Kvasi-Newtonmenetelmät tarjoavat hyvän kompromissin Newtonin menetelmän nopean konvergenssin ja konjugaattigradienttimenetelmien kaltaisten menetelmien laskennallisen keveyden välillä. Ne ovat yleisesti käytettyjä monilla tieteen ja tekniikan aloilla, kun halutaan löytää funktion minimiä tai maksimia ilman toisten derivaattojen analyyttistä tuntemusta tai suoraa laskemista.