Relevansbedömning

Relevansbedömning är en metod inom informationssökning och informationsvetenskap som syftar till att avgöra i vilken mån ett dokument eller en resurs uppfyller ett användarens informationsbehov eller en given frågeställning. Den används framför allt vid utvärdering av sökmotorer, rekommendationssystem och forskningssammanställningar där man behöver ett grundläggande mått på hur bra resultaten matchar användarens behov.

Arbetet sker ofta inom ett testkatalogramverk där en uppsättning frågor eller ämnen definieras; relevanta dokument identifieras och bedöms av utbildade bedömare enligt tydliga riktlinjer. Bedömningen kan vara binär (relevant / inte relevant) eller gra­derad (t.ex. 0–3 eller 0–4) för att få olika nyanser av relevans.

Vid systematiska utvärderingar används ofta flera bedömare och målet är att uppnå hög interbedömaröverenskommelse; mått som Cohen's kappa eller Fleiss' kappa används för att mäta överenskommelsen. Relevansbedömning ligger till grund för beräkning av traditionella IR-metriker som precision och recall eller mer avancerade mått som nDCG och MAP.

Områden som påverkas inkluderar forskning, vård och andra områden där relevans ofta definieras av kontext och användarens behov. Utmaningar är subjektivitet, kontextberoende tolkningar och risken för inkonsistens mellan bedömare; därför behövs tydliga riktlinjer, utbildning och kvalitetskontroll.

Sammanfattning: Relevansbedömning är en central metod för att kvantifiera hur väl sökresultat eller innehåll motsvarar användarens informationsbehov och att den stödjer meningsfull utvärdering av system och innehåll.