Representatieleren

Representatieleren is een vakgebied binnen kunstmatige intelligentie en machine learning dat zich richt op het automatisch leren van representaties (features) uit ruwe data. Het doel is data om te zetten in representaties die nuttig zijn voor latere taken zoals classificatie, detectie of regressie, vaak met minder geannoteerde data dan directe end-to-end training vereist. Door geschikt gepositioneerde kenmerken kunnen eenvoudige modellen betere prestaties leveren en generaliseren naar nieuwe taken.

De wortels liggen in onbegeleid leren en dimensionale reductie (bijv. PCA, ICA). Met de opkomst van diepe neurale netwerken is representatieleren een centraal concept geworden in veel AI-systemen: netwerken leren hiërarchische kenmerken die steeds abstracter zijn. Bekende benaderingen zijn onder meer autoencoders en variational autoencoders, die data-representaties leren opslaan in een compact latent space, en sparse coding. Tegenwoordig spelen ook zelfgestuurde methoden een grote rol, zoals contrastieve leerprincipes, waarmee representaties worden geleerd zonder expliciete labels.

Typen van representatieleren omvatten onbegeleid (unsupervised), zelfgestuurd (self-supervised), semi-gesuperviseerd en gesuperviseerd representatie learning. Toepassingen zijn onder meer beeld- en tekstverwerking, spraakherkenning, genomica en robotica. Een gangbaar evaluatieprotocol is het lineaire evaluatieprotocol, waarbij de kwaliteit van de geleerde representaties wordt beoordeeld door een eenvoudige lineaire classifier op de top te trainen. Transfer learning en finetuning geven verdere inzichten in bruikbaarheid.

Uitdagingen zijn onder meer interpretatie van de geleerde kenmerken, data-efficiëntie, biases en hoge computationele kosten. Toekomstige ontwikkelingen richten zich op multimodale representaties, zelflerende systemen met minder labelbehoefte, en integratie met causaliteitsmodellen.