Szövegkorpusok

Szövegkorpusok, vagyis szövegek nagy, strukturált gyűjteményei, alapvető eszközei az NLP és a nyelvészet kutatásának. A korpus log (korpusz) szavakból és karakterekből kunok digitális formában tárolt, nyelvtani, morfológiai és szintaktikai elemzési célokra is felhasználható.

Különböző típusba sorolható: monolingual (egyszónyelvű) és multilingual (többnyelvű) korpusok, valamint a szóköztes szövegből (text-based) és a minta vagy szemle alapú (corpus with annotations) virtuális gyűjtemények. A kiránduló tartalom gyakran magában foglalja a nyelvi jellegzetességek, szónépi kutatások, illetve az adatok ható kvantitív fogalmakat, mint a word frequency és collocation analízis.

A szövegkorpusok alkalmazási területei közé tartozik a gépi fordítás, felmérés, nyelvi modellképzés, valamint a nyelvtani elemzők és szókincsképzők fejlesztése. A korpus alapú tanulási modellek, mint a BERT vagy a GPT, jelentősen javították a nyelvi feladatok megoldását.

Magyarországon számos jelentős korpus érhető el, a Magyar Nemzeti Korpus, a Szegedi Tudományegyetem Korpusok és a Világszövegadatbázis (World Wide Web Corpus). Ezek gyakran nyílt forráskódú, licencelhető vagy ösztönző együttműködésben alapulnak, és ösztönzik a kutatók és felhasználók közötti adatműködést.