informationsutvinning

Informationsutvinning är en process för att automatiskt extrahera strukturerad information ur ostrukturerad eller semi-ostrukturerad data, särskilt text. Målet är att omvandla innehåll i artiklar, rapporter och loggfiler till maskinläsbara data som entiteter, relationer och händelser. Begreppet används ofta synonymt med informationsextraktion och skiljer sig från informationssökning och traditionell data mining.

Vanliga uppgifter inkluderar entitetsigenkänning (NER), relationsextraktion, händelseutvinning och attributvärdesutvinning samt sentimentanalys. Resultatet kan vara strukturerade databaser, kunskapsgrafer eller instrumentpaneler som stödjer beslutsfattande.

Arbetssättet består av datainsamling, förbearbetning och modellering. Förbearbetning av text innefattar tokenisering, syntaktisk analys och POS-tagging. Traditionella metoder använder regelbaserade system och maskininlärning (CRF, SVM), medan modern informationsutvinning ofta bygger på djupa neurala nätverk och transformerbaserade modeller. Utdata kartläggs mot definierade scheman eller ontologier.

Källor inkluderar nyhetstexter, vetenskapliga artiklar, företagsdokument, webbdata och sociala medier. Bedömning görs med mått som precision, recall och F1-score. Benchmarkar och uppsättningar såsom MUC, ACE och TAC KBP har varit viktiga i fältets utveckling.

Användningar finns inom affärsintelligens, hälso- och sjukvård, finans, juridik och cybersäkerhet. Utmaningar inkluderar språkvariation, domänspecifik anpassning, oklarheter i text, integritets- och etiska frågor samt behov av tolkbarhet och kontroll av bias. Fältet har vuxit ur NLP:s informationsextraktionstradition och utvecklats kraftigt med framsteg inom maskininlärning och AI.