rankingmått

Rankingmått är mått som används för att utvärdera kvaliteten på rankade listor som genereras av informationshämtning och rekommendationssystem. De mäter hur väl de mest relevanta objekten placeras högst i listan och används både i offline- och onlineutvärderingar.

Vanliga mått för ranking inkluderar:

- Topp-N mått som Precision@k och Recall@k, vilka anger hur stor andel av de första k resultaten är relevanta respektive hur stor andel relevanta objekt som fångas upp bland de första k resultaten.

- Sammanfattande mått över en fråga, såsom Average Precision (AP) och Mean Average Precision (MAP), som beräknar precisionsvärden vid varje relevanta position och ger ett genomsnittligt mått per fråga eller över alla frågor.

- Graderade rankningsmått som Discounted Cumulative Gain (DCG) och Normalized DCG (NDCG), som tar hänsyn till grad av relevans och minskar värdet för lägre rankade poster.

- Mått som fokuserar på första relevanta objekt, såsom Reciprocal Rank (RR) och Mean Reciprocal Rank (MRR), där prioritet ges åt positionen för den första relevanta posten.

- Övriga mått som Area Under the ROC Curve (AUC) förekommer i vissa rankingproblem men härstammar från klassificering.

Användning och överväganden: Rankingmått används för att jämföra olika algoritmer och för att styra optimeringar av rankningsmodeller. De kräver relevansbedömningar (binary eller graderade) i en testuppsättning eller online-data. Val av mått påverkar vad som prioriteras (toppresultat vs hela listan, graderad relevans). Vanliga fallgropar inkluderar beroende av val av k, datasetbias och skillnader mellan offline och online mätningar.