osumatarkkuutta

Osumatarkkuus, tunnettu myös nimellä precision, on mittari, joka kuvaa sitä, kuinka suuri osa järjestelmän palauttamista tuloksista on relevanteja. Se ilmaisee hyödyn määrää osumien ja epäosumien suhteessa. Osumatarkkuus lasketaan muodosta TP / (TP + FP), missä TP on todellisten osumien määrä ja FP epäosujen määrä. Mitä korkeampi osumatarkkuus, sitä harvemmin käyttäjä saa palautuessaan turhia tuloksia.

Osumatarkkuus liittyy tiiviisti toiseen käsitteeseen, kattavuuteen (recall). Osumatarkkuuden ja kattavuuden välinen kauppa on yleinen ilmiö: lisäämällä mukaan enemmän palautettuja osumia voidaan parantaa kattavuutta mutta heikentää osumatarkkuutta, ja päinvastoin. Tätä voidaan kuvata F1-suhteella, joka on kaksinkertainen harmooninen keskiarvo osumatarkkuuden ja kattavuuden välillä.

Arvioinnissa käytetään usein erilaisia mittauksia. Precision@k mittaa osumatarkkuuden k in parhaassa k tuloksessa, kun taas Average Precision (AP) ja Mean Average Precision (MAP) huomioivat osumatarkkuuden kaikkialla tulosjoukon rankkauksessa. PR-käyrä (precision-recall curve) ja sen ala-alue (AUC) voivat tarjota kokonaiskuvan suorituskyvystä eri k-rajoissa.

Käytännössä osumatarkkuutta käytetään hakukoneissa, kysymysten vastausjärjestelmissä, suositusjärjestelmissä ja luokittelu- sekä ranking-tehtävissä. Arviointi perustuu relevanssiehdotuksiin ja ihmisen antamiin relevanssijärjestyksiin, jotka voivat olla binary- tai graded-tyyppisiä. Rajojen ja kontekstin mukaan osumatarkkuutta voidaan parantaa esimerkiksi paremmalla hakuprosessin ymmärryksellä, relevanssi- palautteella, oppimiskätyökaluliikenteellä sekä monipuolistamalla tuloksia.