Beszédaktivitásészlelés

Beszédaktivitásészlelés (SAD) olyan jel- vagy audiófeldolgozási feladat, amelynek célja, hogy az audio jelben meghatározzuk, hol van beszéd és hol nincs (nem beszéd). A feladat front-endként szolgál sok beszédfeldolgozási rendszer számára, például beszédfelismerés előtt vagy hangalapú azonosításkor, és segít a feldolgozási költségek csökkentésében, a zajcsökkentésben és a késleltetés minimalizálásában.

Módszertani megközelítések: kezdetben energiaalapú és ZCR-alapú jellemzőkkel dolgoztak, klasszikus modelljeik GMM vagy HMM alapúak voltak. Később statisztikai vagy diszkréti osztályozók, például SVM, i-vector alapú jellemzők és EM-alapú megközelítések, majd mélytanulás: CNN, RNN/LSTM, CRNN és Transformer-alapú architektúrák kerültek általánosan a gyakorlatba. A jelenlegi rendszerek gyakran end-to-end vagy multi-task megközelítéseket alkalmaznak.

Jellemzők és értékelés: SAD jellemzői közé tartozik a log-energy, ZCR, MFCC vagy spektrális reprezentációk, zajcsökkentett/robosztus jellemzők kombinációja. Az értékelés során a hibaarányt (misses és false alarms), pontosságot, F1-értéket, ROC-AUC-et vagy DET görbét használják. Gyakran szükséges a környezetre adaptív vagy zaj-robosztus beállítás.

Alkalmazások és kihívások: alkalmazások közé tartozik a telekommunikáció, automatikus feliratkészítés és beszédfelismerés előfeldolgozása, zajcsökkentés és hang-diarizáció. Kihívások közé tartozik a zaj, reverberáció, gyorsan váltakozó beszéd vagy többhangos környezetek, rövid beszédszakaszok és alacsony erőforrású nyelvek adaptációja.