tiedonhakutekniikka

Tiedonhakutekniikka on tietotekniikan ala, joka keskittyy löytämään käyttäjän kyselyn perusteella olennaista tietoa suurista kokoelmista. Se kattaa sekä tiedon keräämisen ja tallentamisen että hakukäyttöliittymien ja tulosten järjestämisen, jotta käyttäjä löytää haluamansa tiedot nopeasti ja tehokkaasti.

Keskeistä on datakokoelman indeksoinnin, kyselyn käsittelyn ja palautusmenetelmien yhdistelmä. Indeksoinnissa tuotetaan hakukoneen käyttämä indeksi, usein inverted index, joka mapittaa sanoja kappaleisiin tai dokumentteihin. Kyselyt käsitellään normalisoimalla tekstin muodot (tokenointi, stemming/lemmatisaatio, pysäytyssanojen poistaminen) ja mahdollisesti laajentamalla kyselyä synonyymeillä.

Hakumallit voidaan jakaa boolean-perusteisiin ja ranking-pohjaisiin malleihin. Ranking-mallit käyttävät termien painotusta (esim. TF-IDF) tai tilastolähtöisiä malleja (BM25, kielimallit) ja laskevat dokumenttien relevanssin kyselyyn nähden. Käytännössä hakukoneet yhdistävät useita strategioita: vektoritila, termien merkitys ja konteksti sekä käyttäjän interaktio, kuten relevanssiin perustuva palaute.

Lisämenetelmät voivat sisältää kyselyn laajentamisen, relevanssipohjaisen palautteen, automaattisen sanastoinnin ja NLP-tekniikoita, joiden avulla tunnistetaan synonyymit sekä otetaan huomioon asiasanat ja ontologiat.

Kokonaisuuden arviointi tapahtuu mittareilla kuten tarkkuus, kattavuus sekä F-mittaus, ja laajemmissa järjestelmissä MAP ja NDCG. Arviointi voi tapahtua sekä offline- että online-testeillä. Tiedonhakutekniikkaa sovelletaan esimerkiksi web-hauissa, digitaalisissa kirjastoissa ja yritysten sisäisissä hakujärjestelmissä. Haasteita ovat hakusanojen epäselvyys, sanan moninaisuus, suurten tietomäärien skaalautuvuus sekä monikielisyys ja yksityisyyskysymykset.