TFIDFvektoroinnin

TF-IDF vektoroinnin, lyhenne sanoista Term Frequency-Inverse Document Frequency, on tilastollinen mitta, jota käytetään arvioimaan sanan merkitystä tekstidokumentissa. TF-IDF on yleinen tapa muuntaa tekstiä numeeriseen muotoon, jota voidaan käyttää koneoppimisalgoritmeissa.

Term Frequency (TF) mittaa, kuinka usein tietty sana esiintyy dokumentissa. Mitä useammin sana esiintyy, sitä suurempi sen TF-arvo on. Inverse Document Frequency (IDF) puolestaan mittaa, kuinka harvinainen sana on koko dokumenttikokoelmassa. Sanat, jotka esiintyvät monissa dokumenteissa, saavat matalan IDF-arvon, kun taas harvinaisemmat sanat saavat korkeamman arvon.

TF-IDF-arvo lasketaan kertomalla sanan TF-arvo sen IDF-arvolla. Tämä antaa suuremman painoarvon sanoille, jotka ovat sekä yleisiä tietyssä dokumentissa että harvinaisia koko kokoelmassa. Tällaiset sanat ovat usein informatiivisimpia ja auttavat erottamaan dokumentteja toisistaan. TF-IDF:ää käytetään laajalti tiedonhaussa, tekstin luokittelussa ja klusteroinnissa. Sitä voidaan käyttää myös luomaan tekstidokumenttien vektoriesityksiä, jotka sopivat koneoppimismallien syötteeksi. Yksinkertaisesti sanottuna TF-IDF auttaa tunnistamaan ja painottamaan tärkeitä sanoja teksteissä.