optimaliteitsmethoden

Optimaliteitsmethoden zijn systematische procedures om een optimale waarde van een doel- of doelstellingsfunctie te vinden, vaak onder beperkingen. Ze spelen een centrale rol in wiskundige optimalisatie, operationeel onderzoek en machine learning.

Op basis van de aard van het probleem worden ze doorgaans verdeeld in unconstrained (zonder beperkingen) en constrained (met beperkingen) optimalisatie. Bij unconstrained optimalisatie zoekt men naar punten waar de afgeleide (de gradient) van de functie nul is. Bij geschikte convexiteit en differentiabiliteit leveren gradient-based methoden zoals de gradient descent, de conjugate gradient methode, en snelle Newton- of quasi-Newtonmethoden snelle converge. Newton-methoden gebruiken tweede-orde informatie via de Hessiaan; quasi-Newtonmethoden (zoals BFGS) bouwen een benadering van de inverse Hessiaan op.

Bij constrained optimalisatie komen Lagrange-multipliers en Karush-Kuhn-Tucker (KKT) condities centraal. Methoden ter handhaving van beperkingen omvatten penalty-methoden, barrier-methoden en de augmented-Lagrangian methode, evenals interne-punt- (interior-point) en actieve-sets methoden.

Globalisatie en alternatief: veel praktijken vereisen globale optimaliteit. Daartoe worden methoden als branch-and-bound, cutting-plane technieken, en globale optimalisatie-algoritmen zoals multistart, simulated annealing, en evolutie-algoritmes toegepast, vooral voor niet-convexe problemen.

Doeleinden variëren van kwantitatief modelleren en ontwerp tot machine learning en econometrie. De keuze van methode hangt af van eigenschappen als convexiteit, differentiability, beschikbaarheid van tweede-orde informatie en gewenste garanties op juistheid van het resultaat.