ordsegmentering

Orsegmentering är processen att dela en text i ord eller token. Den är en grundläggande del av många språkteknologiska system och används i uppgifter som sök, maskinöversättning och språkanalys. I språk där ordgränser inte är tydligt markerade måste algoritmer avgöra var ord börjar och slutar.

I språk med tydliga ordavgränsningar, som svenska och engelska, kan segmentering ofta göras genom att dela vid mellanslag och behandla skiljetecken som separata token. I praktiken krävs dock hantering av sammansättningar, förkortningar, skiljetecken och olika skrivsätt för att uppnå god precision.

I språk utan tydliga ordgränser, som kinesiska, japanska och thailändska, är segmentering betydligt mer komplex. Här används lexikonbaserade metoder, statistiska modeller (till exempel HMM eller CRF) och neurala nätverk som tränas på stora korpusar. Moderna tillvägagångssätt inkluderar subordtokenisering som Byte-Pair Encoding och SentencePiece som bryter ner text i meningsfulla enheter.

Användningsområden inkluderar förbättrad sökbarhet och informationshämtning, maskinöversättning, språklig analys och talsyntes. Segmentering utgör ofta en förebyggande fas i pipelines för att omvandla råtext till enhetlig data som modeller kan bearbeta.

Utvärdering av ordsegmentering mäts vanligtvis med precision, recall och F1 på en korpus med guldstandardgränser. Källor inkluderar offentliga språkdata och benchmark-tävlingar. Utmaningar inkluderar tvetydlighet, okända ord och ovanliga format eller förkortningar.