Puheentunnistusjärjestelmät

Puheentunnistusjärjestelmät (ASR, automatic speech recognition) muuntavat puhuttua kieltä kirjoitetuksi tekstiksi. Ne käsittelevät äänisignaalin esikäsittelyn, akustisen mallin ja kielellisen mallin sekä käyttävät dekoodausalgoritmia tuottaakseen tekstituloksen. Keskeisiä komponentteja ovat äänianalyysi, esimerkiksi MFCC-ominaisuudet tai mel-spektrogrammit, akustinen malli, kielimalli ja sanastorakenne.

Perinteisesti ASR-järjestelmät on rakennettu putkijärjestelminä, joissa akustinen malli (HMM tai DNN) ja kielimalli yhdistetään dekoodauksessa. Viime vuosikymmenellä kehittyivät end-to-end -mallit (esim. CTC- tai seq2seq-pohjaiset verkot), joissa puheensignaalista arvioidaan suoraan kirjoitettu teksti ilman erillistä sanastoa. Yleistyvät piirteet ovat MFCC- tai Mel-spektrogrammi-pohjaiset ominaisuudet sekä suuremman kapasiteetin neuroverkot kuten CNN, RNN ja Transformer-pohjaiset mallit. Käytetyt työkalut ja kirjastot, kuten Kaldi, ESPnet tai DeepSpeech, helpottavat kehitystä.

Sovellukset kattavat äänitekstin luomisen arjessa ja työpaikoilla: puheavustajat, automaattinen tekstitys videoihin, puheeseen perustuva ohjaus ja puhelinoperaattorit sekä äänikysymysten käsittely. Monikieliset ja suomalaisittain lisensoidut mallit voivat tukea suomea ja muita kieliä. Lisäksi järjestelmät voivat tukea puhujan erottelua (diarisaatio) ja puheterapiaan liittyviä sovelluksia.

Haasteita ovat muun muassa melun ja taustakohinan vaikutus, aksentit ja murteet sekä usean puhujan erottaminen sekä datan ja domainin vaihtelu. Suorituskykyä mitataan pääasiassa sanamäärävirheen prosenttina (WER, word error rate); kirjoitusvirheitä kuvaa myös CER (character error rate). Latenssi ja mahdollisuus tehdä on-device laskentaa vaikuttavat käytettävyyteen ja eri ympäristöissä tarvittavaan nopeuteen.

Tutkimus ja teollisuus kehittävät yhä tarkempia, monikielisiä ja luotettavampia järjestelmiä, jotka voivat toimia sekä pilvessä että laitteissa. Keskeisiä kehitystrendejä ovat end-to-end-ratkaisujen parantaminen, robustius eri taustaäänille sekä yksityisyyden ja tietoturvan huomioiva koulutus- ja käyttöönotto.