Vektorutrymmesmodellen

Vektorutrymmesmodellen (VSM) är en modell inom informationshämtning som representerar dokument och användarfrågor som vektorer i ett högdimensionellt rum där varje dimension motsvarar en term ur korpusen. Varje dokument beskrivs av en viktad termförekomstvektor, och varje fråga av en liknande vektor. Platsen i rummet återspeglar vilka termer som förekommer och hur betydelsefulla de är.

Vikterna i modellen baseras vanligtvis på termens frekvens inom dokumentet och hur sällsynt termen är i hela samlingen. Den vanligaste viktningsschemat är TF-IDF, ofta med logaritmerad TF och invers dokumentfrekvens (IDF). Sådana vikter gör att termer som är vanliga i ett dokument men sällsynta i hela korpusen får större vikt. Dokument och frågor normaliseras ofta för att jämförelser inte ska styras av längden på vektorerna.

Likheten mellan dokument och förfrågan mäts vanligen med cosinuslikhet, vilket bedömer vinkeln mellan två vektorer och därmed hur lika de är i terminnehåll. Rangordning av dokument baseras på likhetsvärdena.

Behandlingen inkluderar vanligtvis förbehandling av texten (tokenisering, borttagning av stoppord, stemming eller lemmatisering), uppbyggnad av en term–dokumentmatris, viktberäkning och sedan ranking av dokumenten efter likhet till frågan. Växlande varianter kan använda andra weighting-scheman eller dimensionell reduktionstekniker.

Fördelar: enkelt att implementera, skalbart, och ofta effektivt för generella sökfrågor. Begränsningar: saknar djupare semantik och ordningsinformation, behandlar ord som likvärda utan synonymer eller polysemi, och stora vokabulärer leder till högdimensionella, sparsamma matriser. Latent semantisk analys (LSA) och andra tekniker används ibland för att motverka dessa begränsningar.