TFIDFvektorer

TFIDFvektorer är en vanlig representation av dokument i textanalys och informationsåterfinning. De består av vektorer där varje dimension motsvarar ett ord eller en term i en ordlista, och varje komponent innehåller en TF-IDF-viktning för termens förekomst i dokumentet.

TFIDF står för termfrekvens–omvänd dokumentfrekvens. Termfrekvensen (TF) mäter hur ofta en term förekommer i ett dokument och kan vara råa räkningar eller normaliserade värden. Den omvända dokumentfrekvensen (IDF) speglar hur sällsynt en term är över hela korpusen: en term som förekommer i få dokument får högre vikt. En vanlig form är IDF(t) = log((N+1)/(df(t)+1)) + 1, där N är antalet dokument och df(t) antalet dokument som innehåller termen t. TF-IDF(t,d) = TF(t,d) × IDF(t).

Genom denna viktning får termer som är specifika för ett dokument större betydelse, medan mycket vanliga ord belastas mindre. Resultatet blir en högdimensionell, sparse vektorrepresentation av varje dokument. När dokument jämförs används ofta cosinuslikhet mellan TF-IDF-vektorerna för att bedöma likhet.

Användningar inkluderar informationssökning, dokumentklassificering och klustring. Förbättringar som vanligtvis tillämpas är logaritmisk normalisering av TF, sublinear TF och normalisering av varje vektor till enhetlig längd. Begränsningar innefattar stor vokabulär, sårbarhet för stopwords och att modellen inte direkt fångar djup semantik eller ords synonymer. TFIDF används ofta som en basrepresentation i traditionell textmining och som mellansteg före mer avancerade metoder.