talbearbetning

Talbearbetning är ett område inom datorvetenskap och signalbehandling som behandlar tal som ljudsignal och syftar till att analysera, tolka och generera tal. Vanliga delområden är taligenkänning (ASR), där tal omvandlas till text, och text-till-tal (TTS), där text omvandlas till tal. Andra uppgifter inkluderar speaker recognition (identifiering eller verifiering av talare), röstaktivitetdetektion och talkvalitetsförbättring. Inom området används även talförståelse, diarization och röstförändringar såsom voice conversion.

Tekniken bygger ofta på en pipeline som inkluderar förbearbetning, funktionsutvinning (t.ex. MFCC), akustiska modeller, språkliga modeller och avkodning. Historiskt har HMM-GMM-modeller varit vanliga, medan moderna system domineras av djupa neurala nätverk och end-to-end-arkitekturer som RNN- och transformerbaserade modeller. För text-till-tal används neural vocoders som WaveNet eller liknande metoders för att producera naturligt ljudande tal. För taligenkänning används ofta end-to-end-modeller som direkt mappar ljud till text.

Användningar av talbearbetning inkluderar transkription av möten och föreläsningar, röstassistenter och interaktiva tjänster, stöd för personer med hörselnedsättning eller talhinder, telekommunikation och mediaanalys. Vanliga utvärderingsmått är ordfelprocent (WER) för ASR samt olika mått på naturlighet och talkvalitet för TTS. Datasets som LibriSpeech, TIMIT och AISHELL används inom forskning och utveckling för att träna och utvärdera modeller.

Utmaningar är bland annat variation i röster, dialekter, bakgrundsljud och begränsad tillgång till stora, välannoterade datasätt. Kroppsliga och integritetsaspekter vid användning av röstdata är också viktiga överväganden i kommersiell användning av talbearbetningstekniker.