Orðasöfnun

Orðasöfnun er ferli sem liggur til grundvallar orðabóka- og málvísindastarfi. Hún felst í að safna, greina og geyma orð og orðasambönd með tilliti til merkingar, beygingar og notkunar. Markmiðið er að búa til nákvæmt og nytsamlegt orðasafn sem hægt er að nota við útgáfu orðabóka, málfræðirannsóknir og tölvumálverkefni.

Helstu heimildir eru textar úr bókmenntum, fræðigreinum, dagblöðum og tímaritum, auk samtala og talmála sem safnast fyrir í upptökum eða netgögnum. Gögnin eru unnin í orðasafn (corpus) og greind með aðferðum eins og beygingargreiningu, orðflokkagreiningu (POS-tökur) og merkingargreiningu. Með þessum hætti er unnt að ákvarða tíðni orða, samspil þeirra í setningum og merkingu í mismunandi samhengi, sem nýtist við orðabókagerð og málvinnslu.

Tilgangurinn er m.a. að útbúa orðabækur og orðalista, skrá nýyrði og nýtt notkunarmynstur, og styðja málvísindi og tölvunotkun. Í NLP og málvinnslu eru stór orðasöfn lykilatriði til þjálfunar og reksturs tölvukerfa sem vinna með íslenskt mál.

Að lokum felur orðasöfnun í sér áskoranir vegna fjölbreytts íslensks máls, nýyrða og dreifingar milli tal- og ritmáls. Helstu vandamál eru að ná fram breytileika málsins, halda samræmi í beygingu og merkingu, og gæta persónuverndar og höfundarréttar þegar gögn eru safnað og nýtt.