jäsentämisen

Jäsentäminen, tai parsing, on kielitieteessä ja luonnollisen kielen käsittelyssä prosessi, jossa lauseen syntaktinen rakenne määritellään ja esitetään strukturoituneessa muodossa. Tuloksena voi olla konstituenttinen parse-puu, joka kuvaa lauseen osien, kuten lausekkeiden, hierarkkisen järjestyksen, tai riippuvuushakemisto (dependency graph), jossa sanat liitetään toisiinsa syntaktisten suhteiden kautta.

Jäsentämisessä voidaan erottaa kaksi päätyyppiä. Konstituenttinen jäsentäminen rakentaa lauseesta puumuotoisen rakenteen, jossa lauseet ja niiden sisäiset lausekkeet ovat toistensa aliyksiköitä. Riippuvuuksiin perustuva jäsentäminen keskittyy sanojen välisiin suhteisiin ja johtaa rakenteen, jossa kukin sana on kytketty päälleen riippuvuudella, kuten subjekti- tai objekti-suhteisiin.

Menetelmät jäsentämisessä jakautuvat perinteisiin ja nykyaikaisiin lähestymistapoihin. Perinteiset, sääntöihin perustuvat menetelmät (esim. konstituenttisen suuntauksen CFG- tai HPSG-tyyppiset grammatiikat) käyttävät ihmisn ohjaamia sääntöjä. Dataohjautuneet menetelmät puolestaan, kuten todennäköisyys- ja tilastolliset mallit (PCFG, n-grammit) sekä neuroverkot, hyödyntävät suuria kieliainesarjoja. Viime vuosina syväoppiminen on tuonut huomattavaa parannusta sekä konstituenttisessa että riippuvuuksiin perustuvassa jäsentämisessä.

Jäsentäminen on keskeistä useissa sovelluksissa, kuten konekäännöksessä, tiedon louhinnassa (information extraction), kysymys-vastausjärjestelmissä ja semanttisen roolin tunnistuksessa. Haasteita tuovat monikielisyys, sanaston monimuotoisuus ja pitkä kantama, sekä epäselvyydet syntaksissa ja sanan merkityksessä. Suurimmat standardit arvioinnissa perustuvat mittoihin kuten lausetta liikuttavia relaatioita mittaavi LAS- ja UAS-tuloksiin sekä konstituenttisessa jäsentämisessä käytettäviin bracketing- tai F1-luvuisiin.

---