Rangschikkingsmetrics

Rangschikkingsmetrics zijn kwantitatieve maatstaven die de kwaliteit van geordende lijsten (rankings) beoordelen, veel gebruikt bij zoekmachines, aanbevelingssystemen en informatiesystemen. Ze meten hoe goed de volgorde van items overeenkomt met relevante of gewenste resultaten op basis van gebruikersfeedback of grondwaarheid.

Veelvoorkomende metrics zijn Precision@k en Recall@k, die respectievelijk het aandeel relevante items in de top-k en het aandeel relevante items dat binnen de top-k voorkomt aangeven. Mean Average Precision (MAP) combineert precisie over meerdere posities en voorbeelden. Discounted Cumulative Gain (DCG) en Normalized DCG (NDCG) wegen relevantie naar positie, waarbij hogere posities zwaarder tellen; NDCG normaliseert voor vergelijkbaarheid tussen zoekopdrachten. Mean Reciprocal Rank (MRR) richt zich op de positie van het eerste relevante resultaat. AUC en pairwise-vergelijkingen worden soms gebruikt om rangschikking op paarniveau te evalueren.

Rangschikkingsmetrics verschillen in gevoeligheid voor positie, gradaties van relevantie en hoeveelheid relevante items. Bij ontwerp en interpretatie moet rekening gehouden worden met positionele bias, impliciete versus expliciete feedback en het doel van de applicatie (bijvoorbeeld snel eerste resultaat versus volledige dekking). Offline-metrics geven richtlijnen, maar online-experimenten (A/B-tests) zijn vaak nodig om echte gebruikersimpact te meten.

Beperkingen omvatten gevoeligheid voor dataset-samenstelling, moeilijkheden bij het modelleren van gebruikersdoelen en mogelijke vertekening door click-through data. Combinatie van meerdere metrics en contextspecifieke evaluatie is gebruikelijk.