vectorregressie

Vectorregressie is een verzamelnaam voor statistische en machine-leermodelle die meerdere gerelateerde afhankelijke variabelen tegelijk voorspellen vanuit een gemeenschappelijke set voorspellers. In plaats van afzonderlijke univariate regressies voor elk doelvariabele uit te voeren, modelleren vectorregressie en de bijbehorende methoden de gezamenlijke relatie tussen de predictormatrix X en de responsmatrix Y, waardoor de correlaties tussen de verschillende responsen worden meegenomen.

Een standaard lineaire formulering is Y = X B + E, waarbij Y n×p is met p afhankelijke variabelen, X n×k de predictorvariabelen bevat, B k×p de onbekende coëfficiëntenmatrix en E een foutmatrix met mogelijk gecorreleerde fouten tussen de responsvariabelen. OLS-schatteren levert de coëfficiënten die alle foutmomenten gezamenlijk minimaliseren. Omdat de responsvariabelen onderling gecorreleerd kunnen zijn, kan multivariate regressie efficiëntere schattingen opleveren dan aparte regressies per doelvariabele.

Veelgebruikte benaderingen omvatten multivariate gewone kleinste kwadraten, ridge- en lasso-achtige extensies voor multi-task learning, en gereduceerde-orde methoden zoals reduced rank regression die de coëfficiëntenmatrix B beperkt in rank om dimensionale reductie te bewerkstelligen. Daarnaast bestaan er niet-lineaire en flexibele benaderingen zoals kernelregressie, Gaussian process-modellen en neurale netwerken die meerdere outputs tegelijk modelleren.

Toepassingen verschijnen onder meer in de genomica en chemometrie, waar meerdere gemeten responsen samen worden geanalyseerd; in financiën voor meerdere economische indicatoren; en in beeld- en geluidsanalyse voor multi-output taken. Let op: vectorregressie is niet hetzelfde als vectorautoregressie (VAR), een dynamisch tijdreeksmodel dat afhankelijkheden over de tijd bestudeert.

Samenvattend biedt vectorregressie een principiële aanpak om meerdere gerelateerde uitkomsten tegelijk te modelleren, met voordelen bij het omgaan met inter-output correlaties en hoge dimensies.