Sannsynlighetskalibrering

Sannsynlighetskalibrering, også kjent som kalibrering av prediksjoner eller prediksjonskalibrering, er prosessen med å justere sannsynlighetsestimater fra en prediktiv modell slik at de bedre reflekterer den faktiske forekomsten av hendelser. Med andre ord, hvis en modell predikerer at en hendelse har en sannsynlighet på 70%, ønsker vi at denne hendelsen faktisk skal inntreffe omtrent 70% av gangene den predikeres med denne sannsynligheten.

Dette er spesielt viktig i applikasjoner der usikkerhet er en kritisk faktor. For eksempel, i medisinsk diagnostikk, er det viktig at sannsynligheten for en sykdom som modellen gir, er en nøyaktig refleksjon av den faktiske sannsynligheten. Hvis en modell er overkalibrert, overvurderer den sannsynlighetene, og hvis den er underkalibrert, undervurderer den sannsynlighetene.

Kalibreringsteknikker kan deles inn i flere kategorier. Platt scaling er en enkel og populær metode der de opprinnelige prediksjonene transformeres ved hjelp av en logistisk regresjonsmodell. Isotonic regression er en annen metode som gir en mer fleksibel, men mindre parametrisk, tilnærming. Begge disse metodene trenes på et eget kalibreringssett, atskilt fra treningssettet for den opprinnelige modellen.

God kalibrering kan forbedre beslutningstaking basert på modellens prediksjoner, da det gir en mer pålitelig indikasjon på risiko og usikkerhet. Det bidrar også til bedre evaluering av modeller, da det gir en mer rettferdig sammenligning av modeller som ellers kan ha lignende ytelse målt ved andre metrikker.