scoregebaseerde

Scoregebaseerde methoden verwijzen naar benaderingen in statistiek en machine learning die de score van een verdeling gebruiken. De score is de gradient van de log-kansdichtheid met betrekking tot de data. Door deze score te leren of te schatten kan men complexe verdelingen modelleren en genereren zonder een expliciet genormaliseerde dichtheidsfunctie vooraf te hoeven specificeren.

Een belangrijke tak is score matching, oorspronkelijk geïntroduceerd door Hyvärinen (2005), waarmee ongenormaliseerde modellen geschat kunnen worden door te streven naar minimale afwijking tussen de werkelijke en geschatte score. Een latere ontwikkeling is scoregebaseerde of diffusion-gebaseerde generatieve modellering. Hierbij wordt een datapunt verstoord door ruis en wordt een neuraal netwerk getraind om de score van de verstoorde verdeling te schatten; sampling gebeurt vervolgens via een omgekeerde stochastische differentiaalvergelijking (SDE) of Langevin-dynamica.

Toepassingen omvatten beeldgeneratie, audio-synthese, inpainting en anomaliedetectie. In zowel onderzoek als industrie wordt scoregebaseerde modellering gezien als een krachtige methode voor hoge kwaliteit van gegenereerde data en soms een stabielere training vergeleken met traditionele generatieve modellen.

Voordelen van scoregebaseerde benaderingen zijn onder meer flexibiliteit en een sterke theoretische basis in de modellering van onbekende verdelingen. Nadelen zijn hoge rekeneisen en lange generatie- of simulatietijden, hoewel recente ontwikkelingen snellere sampling mogelijk maken en de praktische toepassing vergroten.