relevansbedømmelser
Relevansbedømmelser er systematiske vurderinger af, hvor relevante dokumenter er i forhold til en given forespørgsel i informationssøgning. De udgør ofte ground truth i evaluering af søgemaskiner og informationsretrieval-systemer. For hver forespørgsel udvælges et sæt dokumenter og bedømmes af humanbedømmere efter en fastlagt retningslinje. Bedømmelsesskalaer varierer: nogle gange binær relevans (relevant/ikke relevant), andre gange en multi-point-skala som 0–3 eller 0–4, der giver nuanceret vurdering af relevansniveau og kontekst.
Processen omfatter oplæring af bedømmere, udvikling af bedømmelsesvejledninger og afstemning mellem bedømmere for at sikre ensartethed.
Relevansbedømmelser anvendes til evaluering af rangering-algoritmer, benchmarking af søge- og anbefalingssystemer samt til træning af læringsbaserede