Anomalidetektering

Anomalidetektering är processen att identifiera observationer som avviker markant från vad som anses normalt i ett datamaterial eller beteendemönster. Avvikande händelser kan indikera fel, bedrägeri, intrång eller förändringar i ett system. Tillämpningar finns inom bland annat finans, nätverkssäkerhet, tillverkning, hälsoövervakning och miljöövervakning.

Definitionen av vad som är normalt varierar mellan domäner och sammanhang och bygger ofta på historiska data. I vissa fall finns etiketter för vad som utgör ett fel (övermått avvikelse), medan andra metoder arbetar utan sådana etiketter. Metoderna delas därför ofta upp i övervakad, oövervakad och semiövervakad inlärning.

Vanliga tekniker inkluderar statistiska metoder som z-score och percentilbaserade gränser, samt modellbaserade tekniker som Gaussian blandningar och principalkomponentanalys. Maskininlärning används i former som isolationsforest, en-klass-SVM och olika djupinlärningsmodeller som autoencoders. För tidsseriedata används modeller som ARIMA, Prophet och LSTM-baserade nätverk, ofta i kombination med detektion av plötsliga förändringar eller säsongsvariationer. Klustring kan även användas för att hitta små grupper av ovanliga fall.

Utmaningar inkluderar definitionen av normalt beteende, data med hög obalans mellan normala och avvikande fall, konceptförändringar över tid och behov av tolkningsbarhet. Prestanda påverkas av datakvalitet, skala och val av tröskel för vad som räknas som anomali. Utvärdering används ofta med precision, recall, F1 och ROC-AUC.

Anomalidetektering är därmed ett tvärdisciplinärt område som kombinerar statistik, maskininlärning och domänkunskap för att upptäcka och hantera avvikande händelser.