korpuspõhised

Korpuspõhised lähenemised on keeleteaduses ja keeletehnoloogias kasutatavad meetodid, mis põhinevad suurte tekstit kogudel ehk korpustel. Nende abil kirjeldatakse keelekasutust reaalses kasutuses ning tuuakse esile sageduslikke mustreid, kollokatsioone, grammatilisi struktuure ja semantilisi seoseid. Tulemused põhinevad empiirilisel andmetööl ning on sageli reprodutseeritavad ning üldistatavad.

Korpused võivad olla erinevat tüüpi: üldkorpused, erialakorpused, õppijakorpused ning mitmekeelsed korpused. Need võivad olla märgendatud (nt oskõna, lemmatization, morfoloogiline ja süntaktiline märgendus) või märgendamata. Korpuste kogumiseks ning analüüsimiseks kasutakse spetsialiseeritud tööriistu, mis hõlmavad andmete puhastamist, märgendust ja erinevaid analüüsi rakendusi.

Analüüs käsitleb frekvenentsi, kollokatsioonide ja n-grammide avastamist, sünnakses mustrite ja semantiliste ühenduste uurimist ning sageli ka süntaktiliste struktuuride mudeldamist. Korpuspõhised meetodid võimaldavad arendada keeleressursse, parandada sõnavaralisi ja grammatilisi kirjeldusi ning toeta masinõppe rakendusi, nagu masintõlge ja kõnetuvastus. Nad aitavad mõista keele muutumist ajas ning pakkuda realistlikke alusväärtusi keeleõppe materjalidele ja lexicography’le.

Peamised piirangud hõlmavad andmete kvaliteeti ja representatiivsust, märgendustöö kulukust ning potentsiaalset üleeksplikatsiooni või õiget üldistuse puudumist kontekstist sõltuvates olukordades. Hoolikas korpuse koostamine, dokumenteerimine ja kvaliteedikontroll on seetõttu oluline.