Relevansbedømmelser

Relevansbedømmelser er systematiske vurderinger af, hvor relevante dokumenter er i forhold til en given forespørgsel i informationssøgning. De udgør ofte ground truth i evaluering af søgemaskiner og informationsretrieval-systemer. For hver forespørgsel udvælges et sæt dokumenter og bedømmes af humanbedømmere efter en fastlagt retningslinje. Bedømmelsesskalaer varierer: nogle gange binær relevans (relevant/ikke relevant), andre gange en multi-point-skala som 0–3 eller 0–4, der giver nuanceret vurdering af relevansniveau og kontekst.

Processen omfatter oplæring af bedømmere, udvikling af bedømmelsesvejledninger og afstemning mellem bedømmere for at sikre ensartethed. Ofte beregnes inter-annotator agreement for at vurdere konsistens. For at reducere bias kan der anvendes flere bedømmere per dokument og gennemsnitlige bedømmelser. Dataene ledsages typisk af information om emne, forespørgselsintention og dokumentets kontekst.

Relevansbedømmelser anvendes til evaluering af rangering-algoritmer, benchmarking af søge- og anbefalingssystemer samt til træning af læringsbaserede ranking-modeller. De er centrale i internationale benchmarks og samlinger som TREC, CLEF og tilsvarende, hvor bedømmelserne bruges til beregning af målinger som præcision, recall og nDCG. Udfordringer inkluderer subjektivitet, varierende brugerintention og omkostninger ved store mængder data.