Språkidentifiering

Språkidentifiering är processen att bestämma vilket språk som används i en given text eller i tal. Tekniken används inom informationssökning, innehållsfiltrering, översättning och anpassning av användargränssnitt i flerspråkiga system. Den kan tillämpas på allt från korta meddelanden till längre dokument och talade produkter.

Metoderna för språkidentifiering varierar i komplexitet. Regelbaserade metoder bygger på lexikon, grammatik och specifika teckenmönster som kännetecknar ett språk. Mer vanligt är statistiska eller maskininlärningsbaserade metoder som använder ord- eller tecken-n-grams för att skilja mellan språk. Moderna system använder ofta neurala nätverk och transformerbaserade modeller som lär sig språkrepresentationer från stora korpusar. Djupinlärning kan kombineras med klassificerare för att uppnå hög noggrannhet, särskilt i mångspråkiga miljöer.

Data och utvärdering. Modeller tränas på flerspråkiga korpusar och utvärderas med mått som noggrannhet, precision, recall och F1-score. Publika benchmarkar som WiLI-2018 används ofta för att jämföra olika metoder och språkomfång. Resultat påverkas av textens längd, språkens närhet och tillgång till resurser.

Tillämpningar. Vanliga användningsområden inkluderar förbättrad sökindexering, filtrering av innehåll, språkinriktning i användargränssnitt, förbättrad maskinöversättning och taligenkänning där språk ofta måste identifieras först.

Utmaningar. Kort text, kodväxling (innehåll på flera språk i samma dokument), närliggande språk eller dialekter, olika skript och lågresurspråk gör språkdifferentiation svårare. Språkidentifiering bygger ofta på standardiserade språkkoder enligt ISO 639-1 eller 639-3.