ROCkäyrän

ROC-käyrä (Receiver Operating Characteristic -käyrä) on graafinen työkalu, jota käytetään arvioitaessa binääriluokittelijan suorituskykyä muuttamalla päätöskynnystä. Käyrä esittää kaksi tilaa: todennäköisten positiivisten osuus (True Positive Rate, TPR) vastaan väärien positiivisten osuus (False Positive Rate, FPR) eri kynnyksillä.

Käytännössä kynnysvalinnat vaihtelevat ja jokaisella kynnyksellä lasketaan TPR ja FPR. TPR on herkyys eli osuus todellisista positiivisista, jotka luokitellaan oikein positiivisiksi: TPR = TP/(TP+FN). FPR on väärien positiivisten osuus: FPR = FP/(FP+TN). ROC-käyrä alkaa pisteestä (0,0) ja päättyy pisteeseen (1,1). Alue käyrän alla, AUC (Area Under the Curve), kuvaa mallin yleistä erottelukykyä.

AUC-arvo antaa mittauksen suorituskyvystä: arvo 0,5 vastaa satunnaista arvaamista, arvo 1 kuvaa täydellistä erottelua. ROC-käyrää käytetään laajasti lääketieteessä, biotieteissä ja koneoppimisessa, kun halutaan vertailla malleja tai valita toteutustoukkuja ilman kiinnittymistä tiettyyn päätöskynnykseen.

Rajoitteet ja huomioitavat seikat: ROC ei mittaa ennusteen kalibrointia eli kuinka hyvin pistemäärät vastaavat todellisia todennäköisyyksiä. Se on herkkä epätasapainoiselle datalle ja saatetaan aliarvioida tai yliarvioida todellista käytännön hyötyä, jos väärien ja oikeiden positiivisten kustannukset poikkeavat merkittävästi. Epätasaisiin datamääriin voi olla hyödyllistä tarkastella myös PR-käyrää ja kalibrointikuvioita.