Frågevektorn

Frågevektorn är en representation av en sökfråga i ett högt dimensionellt termrum som används inom informationsåtervinning och naturlig språkbehandling. I en traditionell vektorbaserad modell motsvarar varje dimension ett ord i vokabulären, och värdet i dimensionen anger hur viktigt ordet är i frågan. Frågevektorn används för att jämföra frågan med dokument eller andra objekt som också representeras som vektorer i samma rum.

Byggandet sker oftast genom att först tokenisera frågan, ta bort stopwords och eventuellt normalisera orden. Därefter används vikter som TF-IDF eller andra termviktningar för att beräkna frågans termvikter. Resultatet är vanligtvis en spars vektor där endast ett fåtal dimensioner har icke-nolla värden. I forsknings- och produktionssystem kan man också använda neurala inbäddningar där varje ord, fras eller hela frågan omvandlas till en tät vektor.

Användning: Frågevektorn används för att ranka dokument genom att mäta likheten mellan frågevektorn och dokumentvektorer, oftast med kosinuslikhet eller inre produkt. I moderna system kombineras traditionella TF-IDF-ramverk ofta med neurala representationsmodeller som ger liknande eller bättre frågerepresentationer. Frågevektorn utgör grunden för sök, frågesystem och vissa rekommendationstillämpningar.

Utmaningar: Traditionella bag-of-words-vektorer fångar oftast inte djup semantik och är känsliga för synonymer och polysemi. Hög dimension och sparsitet kan göra beräkningar kostsamma. Moderna system går över till täta embeddings som fångar semantik men kräver större modeller och beräkningsresurser. Fördelar inkluderar enkelhet, snabbhet och, i vissa fall, tolkbarhet.