språkparsing

Språkparsing er prosessen med å analysere setninger for å fastslå deres grammatiske struktur og, i noen tilnærminger, betydning. Innen lingvistikken undersøker parsing hvordan ord kombineres i fraser og klausuler, og identifiserer ordklassene, funksjonelle ord og syntaktiske forhold. Innen beregningsbasert lingvistikk refererer parsing til algoritmer som konverterer en rå setning til en strukturert representasjon, for eksempel et parse-tre eller en avhengighetsgraf.

To hovedformer finnes: constituencParsing, som gir frasetrær basert på hierarkiske grupperinger; og avhengighetsparsing, som viser grammatiske relasjoner direkte mellom ord. Constituency-parsing fokuserer på fyldige frasestrukturer, mens avhengighetsparsing ofte er mer direkte for maskinforståelse.

Typisk prosessering involverer en pipeline med tokenisering, morfologisk analyse eller lemmatisering, setningsdel-tagging, og deretter selve parseingen, som kan være regelbasert, statistisk eller neuralt drevet. Algoritmiske tilnærminger inkluderer chart parsing som Earley og CYK, shift-reduce-parsing, probabilistiske grammatikker, samt moderne nevrale parser som bruker transformer- eller grafbaserte modeller.

Data og evaluering: store annoterte korpora som treebanks og Universal Dependencies gir treningsdata for mange språk. Evalueringsmålinger inkluderer blant annet umerket og merket avlastningspoeng (UAS/LAS) for avhengighetsparsing og F1 for constituency-bracketing.

Anvendelser og utfordringer: språkparsing brukes i maskinoversettelse, informasjonsutvinning, spørsmål-svar-systemer og taleassistenter. Utfordringer inkluderer syntaktisk ambiguities, språklig variasjon, håndtering av lange setninger, datamangel for lavressurs språk og avveiningen mellom hastighet og nøyaktighet i parsere.