Korpusarbete

Korpusarbete är inom lingvistik och digital humaniora den systematiska processen att samla, märka och analysera stora språkdatamängder, eller korpusar. Syftet är att studera hur språk används i verkliga sammanhang, dokumentera variation över tid och genre samt stödja utveckling av språkverktyg och språkutbildning. Arbete av detta slag är tvärvetenskapligt och bygger på dataintensiva metoder.

Korpusdata kan vara skrivna eller talade, eller blandningar av båda. Skrivna korpusar består av texter från böcker, tidningar och webb, medan talskorpor bygger på transkriptioner. Storleken varierar från tusentals ord till miljarder ord. Planering, insamling, rensning och normalisering är centrala steg, inklusive hantering av upphovsrätt och OCR-fel.

En kärnkomponent är annotering: morfologisk och syntaktisk tagging, ibland semantisk märksättning. Annotation följer oftast gemensamma standarder och format, till exempel TEI, UD och liknande. För lagring och frågeställningar används verktyg som specialistkorpusplattformar och allmänna NLP-verktyg. Metadata dokumenteras noggrant för transparens och återanvändning.

Användningar av korpusarbete spänner över empirisk lingvistik, lexikonutveckling, NLP-tillämpningar, språkundervisning och digital humaniora. Öppna eller fritt tillgängliga korpusdata främjar reproducerbarhet och samarbeten. Korpusarbete underlättar också språkförvaltning och beteendevetenskaplig forskning genom att ge evidens om språkets variation och förändring.

Utmaningar inkluderar upphovsrätt, integritet, urvalsbias och behov av standardisering för interoperabilitet. Kvalitetssäkring av annotation och tydlig dokumentation av metadatastandarder är avgörande för användbarhet över tid.