Anomalydetectie

Anomalydetectie is het proces waarbij afwijkende patronen in data worden geïdentificeerd die niet overeenkomen met wat als normaal wordt beschouwd. Anomalieën kunnen wijzen op foutieve data, defecten in processen, fraude of zeldzame gebeurtenissen die aandacht vereisen.

Methoden voor anomalydetectie kunnen worden onderverdeeld in ongesuperviseerde (zonder gelabelde anomalieën), semi-gesuperviseerde en gesuperviseerde benaderingen. Ongesuperviseerde methoden detecteren afwijkingen als afwijkingen ten opzichte van de algemene structuur van de data; semi-gesuperviseerde methoden gebruiken vooral veel normale voorbeelden met een beperkte hoeveelheid gelabelde anomalieën; gesuperviseerde methoden gebruiken gecombineerde gelabelde voorbeelden van normale en anomalieklassen. Voorbeelden van ongesuperviseerde methoden zijn statistische tests zoals z-scores en controlekaarten, evenals afstands- en dichtheidsgebaseerde technieken (k-NN, LOF, DBSCAN). Modelgebaseerde benaderingen omvatten one-class SVM en Isolation Forest. Diepgaande leerbenaderingen omvatten autoencoders en variational autoencoders; voor tijdreeksen worden vaak LSTM- of CNN-architecturen gebruikt met residu- of reconstructiefouten.

Toepassingen omvatten fraude- en risicoanalyse in financiën, netwerkbeveiliging en intrusie-detectie, onderhoud en kwaliteitscontrole in industrie, gezondheidszorg en monitoring van kritieke systemen.

Evaluatie van anomalydetectie is afhankelijk van de aanwezigheid van gelabelde anomalieën. Veelal worden prestaties gemeten met precisie, recall, F1-score en ROC- of PR-AUC. Bij zeldzame anomalieën is de PR-AUC vaak relevanter dan de ROC-AUC; daarnaast spelen interpretabiliteit en kalibratie een rol in operationele toepassingen.

Uitdagingen omvatten concept drift, veranderende definities van normaal gedrag, data-imbalance en ruis, beperkte gelabelde data, en de behoefte aan interpreteerbare modellen en waarborgen voor privacy en ethiek.