rankinguppgifter

Rankinguppgifter är uppgifter där målet är att ordna en uppsättning objekt efter en viss kriterium, vanligtvis relevans, kvalitet eller preferens. Begreppet används inom flera områden, bland annat information retrieval, sökmotorer, rekommendationssystem och utbildning, där man vill analysera eller optimera hur listor av objekt presenteras för användare.

Formatet varierar. Vanliga ansatser är pointwise (värdering av varje objekt individuellt), pairwise (jämför två objekt i taget och bestämmer vilken som ska rankas högre) och listwise (bedömer hela rankningslistan). Det gör det möjligt att samla in både existerande bedömningar och att träna modeller som direkt optimerar en ranking.

Datainsamling sker ofta genom mänskliga bedömningar av relevans eller kvalitet, men kan även baseras på implicit feedback från användare eller syntetiska data. Riktmärken byggs ofta kring verkliga sökfrågor, produktkataloger eller frågesättningar. Kvalitetssäkring och interbedömarreliabilitet är viktiga, eftersom subjektiva uppfattningar kan variera.

Utvärdering av rankinguppgifter används med metoder som DCG/NDCG, MAP eller korrelationsmått som Spearman eller Kendall tau. Inom maskininlärning används learning-to-rank-algoritmer som försöker lära en rankingfunktion från annoterade data, ofta genom pointwise-, pairwise- eller listwise-förluster. Detta arbetssätt används för att förbättra relevans i sökresultat, rekommendationer och andra system där ordnade listor är centrala.

Utmaningar inkluderar subjektivitet och annotatorskillnader, databias och ofullständiga bedömningar, samt komplexiteten i att överföra resultat mellan domäner. Rankinguppgifter är därmed centrala för att mäta och optimera hur information struktureras och presenteras för användare.