ROCanalyysiä

ROCanalyysiä on tilastollinen menetelmä, jolla arvioidaan binääristen luokittelijoiden tai diagnostisten testien suorituskykyä. Se mittaa kykyä erottaa positiiviset kohteet (esimerkiksi sairaat) negatiivisista kohteista (terveet) eri kynnysarvoilla.

Käytännössä ROC-analyyssissa lasketaan riippuvien muuttujien arvoista TPR eli herkkyys (true positive rate) ja FPR eli väärien positiivisten osuus (false positive rate) jokaiselle päätöskynnystelle. Herkkyys on TP/(TP+FN) ja väärien positiivisten osuus on FP/(FP+TN). Kun kynnystä säädetään, TPR ja FPR vaihtelevat ja muodostavat ROC-käyrän, joka sijoittuu koordinaatiston yläreunaan.

Kohteiden erottuvuuden yleistä tasoa kuvaa AUC, ROC-käyrän alapuolinen pinta-ala. AUC arvo 0,5 vastaa satunnaista arvaamista, arvo 1 täydellistä erottelua. AUC voidaan tulkita kuin todennäköisyytenä, että satunnaisesti valittu positiivinen saa paremman luokitusarvon kuin satunnaisesti valittu negatiivinen. AUC:n laskeminen voidaan suorittaa epäparametrisilla menetelmillä, kuten trapezoidisella integroitumisella tai Mann-Whitney U -testiin liittyvillä lähestymistavoilla.

Sovelluksia ja rajoituksia: ROC-analyyseja käytetään laajalti lääketieteessä, biostatistiikassa, konenäössä sekä luottoluokitus- ja riskipäätöksissä. Se on hyödyllinen, kun halutaan ymmärtää riippuvuutta päätöskynnyksen muutoksesta. Rajoituksena on, että ROC ei ota huomioon kalibrointia tai prevalenssia eikä se välitä kustannuksista; se keskittyy rankkauksen erottelukykyyn. Moniluokkaisissa tehtävissä käytetään one-versus-rest- tai muunlaista lähestymistapaa ROC-käyrien rakentamiseen.