Funksjonsforbedring

Funksjonsforbedring er et fagfelt som omhandler å forbedre verdien av en målfunksjon ved å velge inngangsvariabler under gitte begrensninger. En målfunksjon f: Ω → R beskriver hva som skal minimeres eller maksimeres, og Ω er domene for variablene. Hovedmålet er å finne x* i Ω som gir lavest mulig (eller høyest mulig) f(x), ofte under slike begrensninger som likninger eller ulikheter.

Problemformulering: Gitt f og eventuelle begrensninger, finn x* som maksimerer eller minimerer f(x). Problemet kan være kontinuerlig eller diskret, og kan være ubegrenset eller begrenset. Videre kan f være differensierbar (glatt) eller ikke; konveksitet av f har stor betydning for løsningsgarantier.

Tilnærminger: For differensierbare problemer brukes ofte gradientbaserte metoder som gradientnedstigning eller -oppstigning, samt Newton- eller quasi-Newton-metoder (f.eks. BFGS). Disse kan inkludere linjesøk eller tillitsområder for å sikre stabil konvergens. For ikke-differensierbare eller svært dyre evalueringer brukes derivate-free metoder som Nelder-Mead, grid- og koordinat-søk, genetiske algoritmer, simulert annealing eller Bayesian-optimalisering.

Begrensede problemer: Ved tilstedeværelse av begrensninger brukes metoder som Lagrange-multiplikatorer, innvendige punktmetoder eller SQP (Sequential Quadratic Programming), som kombinerer modellering av nonlinearitet med veiledning inn i en serie med kvadratiske programmer.

Anvendelser: Funksjonsforbedring er sentralt i maskinlæring (optimalisering av tapsfunksjoner), ingeniørdesign (minimering av vekt eller kostnader), økonomi og finans (risikostyring og porteføljevalg) og logistikk. Viktige egenskaper inkluderer konsistens, konvergenshastighet, robusthet og beregningskostnader.

Eksempel: Minimering av f(x) = (x−3)^2 gir optimum ved x* = 3, med gradient 2(x−3).