dimensiereductie

Dimensiereductie is een verzamelnaam voor technieken die data met veel kenmerken (dimensies) projecteren naar een ruimte met minder dimensies, met zo veel mogelijk behoud van relevante informatie. Het doel is om complexe datasets inzichtelijker te maken, ruis te verminderen en de prestaties van downstream taken zoals classificatie of clustering te verbeteren. Dimensiereductie wordt vaak toegepast als voorbewerking voor machine learning en voor visualisatie van hoge-dimensionale data.

Methoden variëren van lineair tot niet-lineair. Lineaire technieken zoals principal component analysis (PCA) kiezen richtingen met maximale variatie terwijl ze zo weinig mogelijk informatie verliezen. Niet-lineaire methoden zoals t-distributed stochastic neighbor embedding (t-SNE) en Uniform Manifold Approximation and Projection (UMAP) proberen lokale structuur en de onderliggende manifolds beter vast te leggen, soms ten koste van globale relaties. Deep learning-benaderingen omvatten autoencoders die een bottlenecklaag leren die een compacte representatie van de input oplevert. Dimensiereductie wordt meestal onbegeleid uitgevoerd, maar er zijn ook superviseerde varianten (bijvoorbeeld LDA, supervised PCA) die rekening houden met labelinformatie.

Toepassingen omvatten exploratieve data-analyse, visualisatie van hoge-dimensionale datasets, beeld- en signaalverwerking, genomica en tekstverwerking. Een typische workflow omvat normalisatie, keuze van methode en hyperparameters, reductie tot twee of drie dimensies voor visualisatie of tot een compacte representatie voor modellering. Uitdagingen zijn onder meer de keuze van het juiste aantal dimensies, interpretatie van de resultaten en het behoud van relevante relaties; evaluatie hangt af van de toepassing en kan variëren van verklaarde variatie tot trustworthiness en continuïteit.