Rankingkwaliteit
Rankingkwaliteit verwijst naar de mate waarin een gerangschikte lijst items de relevante of gewenste uitkomst weerspiegelt voor een specifieke gebruiker of taak. In informatieve opvragingen en aanbevelingssystemen heeft men als doel om relevante items zo hoog mogelijk in de volgorde te plaatsen, zodat de gebruiker snel het gewenste vindt en tevreden is met de interactie.
Veel gebruikte evaluatiemaatstaven zijn P@k, R@k, MAP, NDCG en MRR. P@k meet het aandeel relevante items binnen
Evaluatie gebeurt zowel offline als online. Offline evaluatie gebruikt gemeten relevantie-labels en gescheiden train/validatie/testsets om de
Factoren die rankingkwaliteit beïnvloeden zijn onder meer de kwaliteit en representativiteit van relevantie-labels, data- en labelbias,
Toepassingen omvatten zoekmachines, e-commerce en contentrecommenders. Uitdagingen omvatten bias en fairness, robuustheid tegen verschuivingen in data,