vektormodellen

Vektormodellen, eller vektorutrymmesmodellen, är en klassisk modell inom informationshämtning där dokument och användarfrågor representeras som vektorer i ett högt dimensionellt ordutrymme. Varje term fungerar som en dimension och varje dokument eller fråga avbildas som en viktad vektor, där varje komponent speglar hur viktigt termen är i den aktuella texten.

Vikter som används i modellen byggs oftast med TF-IDF, där viktens storlek påverkas av hur ofta termen förekommer i dokumentet (term frequency, tf) och hur sällsynt termen är i hela samlingen (inverse document frequency, idf). Vanligt är även att normalisera vektorerna till en enhetslängd för att underlätta jämförelser.

Likhet mellan dokument och fråga mäts vanligtvis med cosinuslikhet, som beräknar vinkeln mellan deras vektorer. Dokument rangordnas efter stigande eller fallande värden av likhet till frågevektorn. Andra avstånds- eller inreproduk tionsmått kan användas men cosinus är dominerande i traditionella VSM-implementationer.

Vektormodellen introducerades i informationshämtning av Gerard Salton och medarbetare under 1960- och 1970-talen och har varit grundläggande för sökmotorer och textklassificering. Den låg till grund för senare tekniker som latent semantisk bildning (LSI) som försöker hantera synonymi och polysemi genom att reducera dimensionerna.

Begränsningar inkluderar att ordningen i texten inte beaktas och att semantik och syntax inte fångas direkt. Modellen är också känslig för höga dimensioner och kan bli svår att skala. Variationer och förbättringar inkluderar projektionstekniker som LSI och andra viktningsscheman, men jämförs ofta med probabilistiska eller maskininlärningsbaserade metoder i moderna system.