indeksointi

Indeksointi tarkoittaa prosessia, jossa suuren tekstiaineiston sisällöstä rakennetaan hakujärjestelmän käyttöön sopiva indeksi. Tämän avulla käyttäjä tai ohjelma voi löytää relevantit tiedot nopeasti ilman täyden läpikäynnin koko aineiston. Yleisessä muodossaan indeksointi järjestää sisältöä siten, että jokaiselle sanalle tai termille tallennetaan lista dokumenteista, joissa termi esiintyy. Tämä inverted index mahdollistaa nopean haun sekä parempien hakutulosten järjestämisen relevanssin mukaan.

Prosessi sisältää esikäsittelyn: sanan erottamisen, pieniksi kirjaimiksi muuttamisen, sanaston laimentamisen (stop-sanat, taivutusmuodot) sekä mahdollisesti sanamuunnokset kuten stemming tai lemmatisointi. Indeksit voivat olla täyteen tekstiin kohdistuvia tai niissä voi olla lisäksi metatietoja ja rakenteellista rakennetta. Indeksointi voi tapahtua automaattisesti ohjelmallisesti, käsin tai näiden yhdistelmänä. Päivitykset ovat usein inkrementaalisia, jolloin uudet aineistot lisätään ilman koko indeksin uudelleen rakentamista.

Sovelluksia on monia: verkkohakukoneiden web-indeksointi, kirjasto- tai tutkimusaineiston indeksointi sekä yritysten tietoarkistojen hallinta. Taloudessa indeksointi tarkoittaa indeksin mukaan tehtävää korjausta: palkkojen, vuokrien tai sopimusten maksujen määräämistä kuluttajahintaindeksin tai muun indeksin kehityksen perusteella.

Haasteita ovat monikielisyys, termien synonyymit ja polyseemi sekä datan laatu ja skaalautuminen. Tekniikoiden kehittyessä indeksointi tukee entistä nopeampaa ja parempaa tiedonhakua sekä tiedonhallintaa.