Rankingkwaliteit

Rankingkwaliteit verwijst naar de mate waarin een gerangschikte lijst items de relevante of gewenste uitkomst weerspiegelt voor een specifieke gebruiker of taak. In informatieve opvragingen en aanbevelingssystemen heeft men als doel om relevante items zo hoog mogelijk in de volgorde te plaatsen, zodat de gebruiker snel het gewenste vindt en tevreden is met de interactie.

Veel gebruikte evaluatiemaatstaven zijn P@k, R@k, MAP, NDCG en MRR. P@k meet het aandeel relevante items binnen de eerste k posities; R@k vergelijkt de gevonden relevante items in de top-k met het totale aantal relevante items; MAP geeft de gemiddelde precisie over meerdere queries; NDCG weegt relevantie en positie mee en is geschikt voor graded relevaties; MRR geeft de inverse van de positie van de eerste relevante item. Het kiezen van de maat hangt af van het doel en de aard van de relevantie.

Evaluatie gebeurt zowel offline als online. Offline evaluatie gebruikt gemeten relevantie-labels en gescheiden train/validatie/testsets om de ranking te vergelijken. Online evaluatie kan A/B-testen of multi-armed bandit experimenten omvatten om gebruikersgedrag direct te meten.

Factoren die rankingkwaliteit beïnvloeden zijn onder meer de kwaliteit en representativiteit van relevantie-labels, data- en labelbias, modelarchitectuur, trainingdata en feature-ontwikkeling, en de evaluatieprocedure.

Toepassingen omvatten zoekmachines, e-commerce en contentrecommenders. Uitdagingen omvatten bias en fairness, robuustheid tegen verschuivingen in data, koude-startproblemen en interpretatie van de rankingbeslissingen.