Parameteroptimalisering

Parameteroptimalisering er en prosess der man finner verdier for et sett av parametere som gir den beste ytelsen av en modell eller et system i forhold til et definert mål. Målet kan være å maksimere gevinst, minimere kostnader eller minimere feil. I praksis skilles parameteroptimalisering ofte fra parameterestimering: estimering søker å tilpasse parametere til observerte data basert på en modell, mens optimalisering søker å velge parametere som gir best mulig ytelse under gitte forhold.

Metoder for parameteroptimalisering varierer etter egenskapene til målfunksjonen. Noen metoder er gradientbaserte og krever at målfunksjonen er differensierbar, som gradiensbasert nedstigning og L-BFGS. Andre metoder er derivatfrie og passer for ikke-differensierbare eller støyete problemer, som Nelder–Mead og CMA-ES. Bayesian-optimering brukes ofte når evaluering av målfunksjonen er kostbar. Andre tilnærminger inkluderer rutenett- eller tilfeldig søk, evolusjonære algoritmer og simulert annealing.

Arbeidsflyten innebærer å definere målfunksjonen og hvilke parametere som kan justeres, samt grenser. Deretter velges og konfigureres en optimeringsmetode, kjøres søket og stoppkriterier fastsettes. Resultatene evalueres på separate data eller i simulering, og robusthets- og sensitivitetsanalyser gjennomføres. For behov kan multi-måloptimering brukes og en Pareto-front presenteres.

Anvendelser finnes innen hyperparameter-tuning i maskinlæring, tuning av kontrollsystemer og prosessoptimering i industri, designoptimalisering i ingeniørfag og økonomisk modellering. Utfordringer inkluderer høy dimensjonalitet, ikke-konveksitet, støy, kostbare evalueringer og risiko for overtilpasning. Multippel mål krever ofte metoder for å finne egnede kompromisser mellom ulike mål.