relevansutvärdering

Relevansutvärdering är processen att bedöma hur väl information eller resultat svarar mot en användares behov eller en specifik frågeställning. Begreppet används främst inom informationssökning, biblioteksvetenskap, sökmotoroptimering och rekommendationssystem för att avgöra kvaliteten på sökresultat, dokument eller rekommendationer.

Metoder för relevansutvärdering inkluderar manuella bedömningar av experter eller användare, användartester och automatiska mätvärden. Vanliga kvantitativa mått är precision, återkallelse (recall), F-measure samt rankningsbaserade mått som nDCG och MAP. Dessa indikatorer jämför systemets output med en uppsättning relevansbedömningar som ofta utgörs av en "guldstandard" eller poolade dokument.

Relevans är delvis subjektivt och kontextberoende; samma dokument kan vara relevant för olika användare beroende på avsikt, bakgrundskunskap och situation. Detta leder till utmaningar i att skapa objektiva benchmarks och i att hantera förändrade behov över tid. Bias i urval, otillräckliga testmängder och inkonsekventa bedömningar påverkar pålitligheten i utvärderingen.

Tillämpningar av relevansutvärdering omfattar förbättring av sökmotoralgoritmer, utvärdering av recommender-system, rättslig e-discovery och kvalitetsbedömning av bibliotekskataloger. Fortlöpande forskning fokuserar på att integrera användarsignaler, personalisering och kontextmedveten bedömning för att bättre fånga verklig användarnytta.