waardefunctie

Een waardefunctie is een wiskundige functie die aan elke toestand of situatie in een besluitvormings- of optimalisatieprobleem een numerieke waarde toekent. De waarde geeft doorgaans de verwachte prestatie, beloning of nut weer die met een bepaalde toestand en beleidskeuze kan worden bereikt, rekening houdend met toekomstige uitkomsten en mogelijk met korting of overgangsprobabiliteiten.

In dynamische programmering en Markov-beslissingsprocessen (MDP) wordt V(s) vaak gedefinieerd als de optimale verwachte return vanaf toestand s. De Bellman-vergelijking verbindt V(s) met de waarden van opvolgende toestanden: V(s) = max_a [ R(s,a) + γ ∑_{s'} P(s'|s,a) V(s') ], waarbij R staat voor directe beloning, γ de kortingfactor is en P de overgangskansentoont.

In reinforcement learning is V(s) de verwachte gecumuleerde beloning (gedisconteerd) vanaf toestand s onder een bepaald beleid; Q(s,a) geeft de waarde van het uitvoeren van actie a in toestand s en wordt vaak gebruikt bij het evalueren en optimaliseren van beleidskeuzes.

In economie en besliskunde verwijst de waardefunctie vaak naar de maximale verwachte utility uit een beslissingsprobleem; de specifieke eigenschappen (bijv. concaviteit of monotoniciteit) hangen af van aannames over risicovoorkeuren en modelstructuur.

Toepassingen bevinden zich onder meer in beleidsoptimalisatie in AI en operationeel onderzoek, in financiële planning en in besliskundige modellering van economische processen.