optimalisatiealgoritme

Een optimalisatiealgoritme is een procedure die een objectief doel, meestal een kosten- of verliesfunctie f(x), minimaliseert of maximaliseert onder gegeven beperkingen. Het zoekt naar besluitvariabelen x die de kwaliteit van een systeem verbeteren, terwijl randvoorwaarden zoals grenzen of regels in acht worden genomen. Doorgaans wordt een optimaal punt gezien als een waarde van x binnen een feasibele set X waar f zo gunstig mogelijk is.

Er bestaan verschillende categorieën, afhankelijk van de aard van x en f. Veel systemen hebben continue variabelen en differentiabele functies; andere zijn discrete of niet-differentiabele. Convexiteit is een belangrijke eigenschap: convex optimalisatie garandeert meestal globale oplossingen, terwijl niet-convexe problemen lokale optima kunnen hebben. Daarnaast zijn er deterministische en stochastische (of probabilistische) algoritmen, en methoden voor online leren en adaptieve toepassingen.

Veel voorkomende methoden zijn gradient descent en Newton-Raphson voor unconstrained problemen, en varianten zoals BFGS. Voor problemen met beperkingen worden projected gradient, Lagrange-methode en interior-point-methoden gebruikt. Linear programming kent de simplex-methode; interior-point-methoden worden ook toegepast. Quadratic programming heeft eigen, efficiënte solvers. Voor combinatoriële en niet-lineaire problemen bestaan zoektechnieken zoals branch-and-bound, dynamische programmering en metaheuristieken als simulated annealing en genetische algoritmes. Derivative-free methoden zoals Nelder-Mead worden ingezet wanneer differentiatie lastig is.

Een typisch proces omvat het formuleren van f(x), de variabelen en beperkingen; kiezen van een geschikte algoritme en stopcriteria; afstemmen van parameters zoals stapgrootte; uitvoeren van de optimalisatie en evalueren van de robuustheid van de oplossing.

Optimalisatiealgoritmen worden toegepast in machine learning voor trainingsdoeleinden, in operations research voor planning en logistiek, in engineering voor ontwerpoptimalisatie en in economie voor risico- en benuttingsmodellen. Kritieke begrenzingen zijn niet-convexiteit, ill-conditionering, ruis in functionele evaluaties en rekenkundige kosten bij hoge dimensies.