Sisällönhaku

Sisällönhaku tarkoittaa prosessia, jossa käyttäjän hakukysely kohdistetaan digitaaliseen sisältöön ja järjestelmä palauttaa relevantit osumat. Siihen kuuluu sisällön indeksointi, kyselyjen käsittely, relevanssin lajittelu sekä tulosten esittäminen. Sisällönhaku esiintyy muun muassa verkkopalveluissa, kirjasto- ja arkistopalveluissa sekä yritysten intranet- ja dokumenttirekistereissä.

Toimintaperiaate: Indeksointi kerää sisällön ja luo hakurakenteen, joka tukee sekä täyden tekstin että metadata-hakua. Suomen kielelle ominaisia morfologisia piirteitä hallitaan lemmatoinnilla, stemmingillä ja stop-sanojen poistolla, jotta hakutermit löytävät muodoista riippumattomia osumia. Kyselyt normalisoidaan ja mahdollisesti laajennetaan synonyymien sekä erilaisten ilmaisujen kautta. Useimmat järjestelmät tukevat sekä avainsana- että sanahakua sekä tason- ja kontekstikohtaista hakua.

Relevanssi määritellään yleensä ranking-funktioilla kuten BM25, mutta nykyaikaisissa ratkaisuissa käytetään myös vektoripohjaisia malleja, jotka huomioivat sanaston semantiikan ja dokumenttien yhteyksiä sekä käyttäjän intentiota. Järjestelmät tarjoavat usein autosuggestia, tarkennusvaihtoehtoja, tulosten korostamisen ja facettihakua.

Ongelmat ja sovellukset: Sisällönhaku on keskeinen osa kirjasto-, julkaisujärjestelmä- ja verkkopalveluiden käyttökokemusta, mutta haastaa kielen morfologia, suurten tietomassojen skaalaaminen ja laadukkaan metadatan ylläpito. Lisäksi pääsyoikeudet sekä monikielisyys vaikuttavat näkyvyyteen.

Esimerkkejä työkaluista: Elasticsearch, Apache Solr sekä perinteiset täyden tekstin haun mahdollistavat järjestelmät.