inverttihakemisto

Inverttihakemisto on tietorakenne, jota käytetään tietojen hakemisessa suurissa tekstikokoelmissa. Se on informaationhakujärjestelmän perusta, ja sen idea on kartoittaa termi kerrallaan ne dokumentit, joissa kyseinen termi esiintyy. Inverttihakemisto on vastakohta forward-indeksille, jossa kukin dokumentti luetteloi sen sisältämät termit. Tämä rakenne mahdollistaa nopean pääsyn relevantteihin dokumentteihin useiden hakusanojen yhteistapauksissa.

Rakenne ja sisältö. Jokaiselle termille luodaan postings-lista, joka sisältää kyseessä olevan termin esiintymät dokumenteissa. Jokaisessa merkinnässä voi olla dokumentin tunniste sekä lisätietoja kuten sananpaikat (missä kohdissa termi esiintyy), termins frequenssi eli esiintymien määrä sekä mahdolliset hakukenttien rajaukset. Monimutkaisemmissa toteutuksissa on myös tietoja dokumentin relevanssista ja kontekstista. Postings-listat voivat olla kompakteja ja niitä käsitellään tehokkaasti hakupyyntöjen yhteydessä.

Käyttö ja hakuprosessi. Inverttihakemisto mahdollistaa nopean yhdistelmähakujen käsittelyn sekä yksittäisten termien hakemisen. Hakukyselyja käsitellään yhdistämällä ja leikkaamalla termien postings-listoja sekä ottamalla huomioon sanamaat ja mahdolliset sulkeumat. Tulokset voidaan järjestää relevanssin mukaan käyttäen venytyksiä kuten tf-idf tai BM25. Positional-indeksointi mahdollistaa myös tarkat lause- ja lähi-hakulauseet.

Ominaisuudet ja laajennukset. Yleisiä variantteja ovat positional inverted index, joka säilyttää sanapaikkoja, sekä hajautetut tai doymentoituin kirjastoinnin ratkaisut suurille kokoelmille. Inverttihakemistoa ylläpidetään sekä ulkoistetusti että päivittävänä indeksointina, jossa uudet dokumentit lisätään indeksiin säännöllisesti.

Näkemys. Inverttihakemisto on keskeinen osa nykyaikaista tekstihaussa ja tietokantatason hakuja tukevaa teknologiaa, tarjoten tehokkaan keinon muuntaa suurta tekstikokoelmaa nopeaksi ja tarkaksi hakujärjestelmäksi.