Corpusonderzoek

Corpusonderzoek is een tak van taalkunde en informatica die taalverschijnselen bestudeert met behulp van corpora: verzamelingen van authentic taalgebruik die digitaal beschikbaar en doorzoekbaar zijn. Een corpus bevat teksten of luistermaterialen met bijbehorende metadata zoals datum, genre en registratieniveau. Corpusonderzoek kan zowel geschreven als gesproken taal analyseren.

Doelen omvatten het meten van woord- en zinsfrequentie, het identificeren van collocaties en lexico-grammaticale patronen, en het onderzoeken van variatie over registers, tijd en genre. Bij het ontwerpproces van een corpus wordt rekening gehouden met representativiteit, grootte, genrebalans en annotatieniveau (ruwe tekst, tokenisering, lemmatizatie, part-of-speech tagging, parses). Metadata en formaten (bijv. TEI-XML) maken vrije analyse mogelijk.

De uitvoering omvat corpusopbouw, data cleaning en annotatie. Analytische technieken omvatten frequentieanalyse, concordantieanalyses (KWIC), collocatieanalyse en diachrone vergelijkingen. Veelgebruikte tools zijn concordantieprogramma's zoals AntConc en Sketch Engine, evenals programmeerbibliotheken voor Python en R voor statistiek en machine learning.

Typen corpora zijn generieke, gespecialiseerde, gebalanceerde en learner corpora; parallel- en vergelijkbare corpora worden gebruikt voor vertaalwetenschap en cross-linguïstische vergelijking. Toepassingen liggen op het gebied van lexicografie, terminologie, taalonderwijs en natuurlijke taalverwerking (NLP), waarbij corpusgegevens dienen als trainings- en evaluatiemateriaal voor zoek- en NLP-systemen.

Bekende voorbeelden zijn Corpus Gesproken Nederlands (CGN) en het Open Nederlandse Corpus. De beschikbaarheid, omvang en licenties variëren per initiatief en door de tijd; bij het verzamelen en gebruiken van data spelen tevens privacy- en ethische overwegingen een rol.