Kielentunnistusta

Kielentunnistus on luonnollisen kielen käsittelyn (NLP) tehtävä, jonka tarkoituksena on määrittää annetun tekstin tai puheesta peräisin olevan näytteen kieli. Tunnistusta voidaan soveltaa kirjoitetulle tekstille, puheelle tai monikieliselle sisällölle. Sitä käytetään muun muassa hakukoneiden, käännöspalveluiden sekä sisällön luokittelun automatisoinnissa, jotta esimerkiksi oikea kieliversio tai käännös voidaan valita oikein.

Menetelmät perustuvat perinteisesti tilastollisiin ja merkkijonoihin (n-grammit) sekä sanoihin (word-level features) pohjautuviin malleihin, kuten Bayesin menetelmiin tai tukivektori-­koneisiin. Viime vuosina kehittyneemmät syvät neuroverkot ja transformer-pohjaiset mallit ovat parantaneet suorituskykyä, erityisesti monikielisissä ja kompleksisissa teksteissä. Monikielisissä tai koodinvaihtoa sisältävissä teksteissä korostuvat ongelmat; lyhyet näytteet, kirjoitusvirheet, diakriittien vaihtelu sekä samankaltaisten kielten erot heikentävät tarkkuutta.

Haasteisiin kuuluvat myös harvinaisten kielten resurssien niukkuus ja kirjoitusjärjestelmien erot sekä äännettäessä esiintyvä vaihtelu. Tietojärjestelmien käyttöönotossa huomioidaan usein lyhyt tekstipituus, sivistyneisyys ja tekninen kieli, jotka voivat vaikuttaa tulokseen.

Arvioinnissa käytetään yleisesti tarkkuutta, F1-pistettä ja maksimihyötysuhdetta sekä virhetyyppien erittelyä. Tunnettujen benchmark-­kokoonpanojen joukossa ovatLangID- ja DSL-tyyppiset kokoelmat sekä muut monikieliset testijoukot. Kielentunnistus kehittyy jatkuvasti, erityisesti pienikokoisten näytteiden sekä puheentunnistuksen integraation saralla.