etiketteersystemen

Etiketteersystemen, ook wel tagging- of labelingsystemen genoemd, zijn systemen die inputdata voorzien van labels. In NLP worden woorden of zinnen geclassificeerd met grammaticale tags (bijv. POS-tags), entiteitslabels (named entity recognition) of andere annotaties. In bredere zin kan een etiketteersysteem ook beelden, geluid of structuur in documenten labelen.

Een etiketteerproces bestaat meestal uit een vooraf gedefinieerde labelset, de invoerdata, een model dat labels toewijst aan de data en een leer- of adaptatieparadigma. Veelvoorkomende labelsets zijn POS-tagsets, IOB-tagging voor entiteiten, en domeinspecifieke ontologieën. Typische taken zijn part-of-speech tagging, named-entity recognition, chunking en morfologische tagging.

Methoden: regelgebaseerde systemen gebruiken handmatige regels; statistische modellen zoals Hidden Markov Models en Conditional Random Fields leren labelreeksen uit getagde data; moderne systemen maken gebruik van neurale netwerken, waaronder LSTM- en transformer-gebaseerde taggers die context in meerdere talen verwerken. Training vereist gelabelde corpora; transfer learning en multi-task learning worden steeds vaker toegepast.

Evaluatie gebeurt met maatstaven als nauwkeurigheid, precisie, recall en F1-score; voor sequentie-labeling wordt vaak de F1-score op token- of entity-niveau gerapporteerd. Inter-annotator agreement geeft de kwaliteit van de labeling weer.

Toepassingen omvatten voorbewerkingen voor informatie-extractie, zoek- en vraagbeantwoording, machinaal vertalen en medisch coderen. Uitdagingen bestaan uit domain- en taaloverdracht, ruis in labels, class imbalance en interpretatie van modelbeslissingen.

Noviteiten omvatten pretrained taggingmodellen en cross-linguale taggers; ethische en privacy-implicaties spelen ook een rol.