kvasiNewtonmenetelmissä

Kvasi-Newtonmenetelmät ovat joukko numeerisia optimointimenetelmiä, joita käytetään löytämään funktion lokaaleja minimejä tai maksimia. Ne ovat iteratiivisia menetelmiä, jotka rakentavat approksimaatiota funktion Hessen matriisista tai sen käänteismatriisista. Toisin kuin varsinaiset Newtonin menetelmät, jotka vaativat tarkan Hessen matriisin laskemista jokaisella iteraatiolla, kvasi-Newtonmenetelmät päivittävät Hessen matriisin approksimaatiota käyttäen gradienttitietoa edellisiltä iteraatioilta.

Näiden menetelmien tavoitteena on saavuttaa nopea konvergenssi, usein kvadraattinen konvergenssi Newtonin menetelmän tapaan, mutta ilman laskennallisesti kalliita toisen kertaluvun derivaattoja. Yleisimpiä kvasi-Newtonmenetelmiä ovat Broyden–Fletcher–Goldfarb–Shanno (BFGS) -algoritmi ja Davidon–Fletcher–Powell (DFP) -algoritmi. Nämä algoritmit eroavat toisistaan siinä, miten ne päivittävät Hessen matriisin approksimaatiota. BFGS-menetelmä on yleisesti suositeltava sen tehokkuuden ja vakauden vuoksi.

Kvasi-Newtonmenetelmät ovat erityisen hyödyllisiä korkeaulotteisissa ongelmissa, joissa tarkan Hessen matriisin laskeminen voi olla epäkäytännöllistä tai mahdotonta. Niitä käytetään laajasti koneoppimisessa, operaatiotutkimuksessa ja muilla aloilla, joissa optimointiongelmia ilmenee. Menetelmän tehokkuus riippuu alkuarvauksen valinnasta ja funktion ominaisuuksista.