kvasiNewtonpäivityksistä

Kvasi-Newtonpäivitykset ovat numeerisia optimointimenetelmiä, joita käytetään etsimään funktion minimiä tai maksimia. Ne ovat peräisin Newtonin menetelmästä, mutta ne ovat tehokkaampia silloin, kun funktion toisen derivaatan matriisia (Hessin matriisi) on vaikea tai mahdoton laskea. Kvasi-Newtonpäivitykset arvioivat Hessin matriisin approksimaatiota iteratiivisesti.

Newtonin menetelmässä seuraava iteraatio lasketaan käyttämällä funktion ensimmäistä derivaattaa ja Hessin matriisia. Kvasi-Newtonpäivitykset välttävät Hessin matriisin suoran laskemisen korvaamalla sen approksimaatiolla, jota päivitetään jokaisella iteraatiolla. Tämä approksimaatio pyrkii täyttämään samat ehdot kuin todellinen Hessin matriisi.

Yleisimpiä kvasi-Newtonpäivityksiä ovat BFGS (Broyden–Fletcher–Goldfarb–Shanno) ja DFP (Davidon–Fletcher–Powell). Nämä algoritmit rakentavatapproksimaatiota Hessin matriisista tai sen käänteisestä matriisista niin, että se pysyy positiivisesti definiittinä ja tyydyttää sekanttiyhtälön. Sekanttiyhtälö liittää derivaattojen muutokset koordinaattien muutoksiin.

Kvasi-Newtonpäivitykset ovat yleisesti käytettyjä monissa sovelluksissa, kuten koneoppimisessa ja insinööritieteissä, koska ne tarjoavat hyvän tasapainon konvergenssinopeuden ja laskennallisen tehokkuuden välillä, erityisesti korkeaulotteisissa ongelmissa. Vaikka ne eivät ole yhtä nopeita kuin Newtonin menetelmä lähellä optimia, ne ovat usein luotettavampia ja helpompia toteuttaa laajemmin.