Tukivektorit

Tukivektorit ovat ne koulutusaineiston havainnot, jotka ratkaisevat SVM-mallin päätöspinnan muodon. Ne ovat datapisteet, joiden etäisyys luokkien erottelupintaan on pienin, ja niiden avulla määritellään suurin mahdollinen margini eli etäisyys päätöspinnan ja lähimpien luokkien havaintojen välillä.

Koulutusratkaisussa SVM-malli etsii hyperplanea, joka maksimoi marginaalin. Dualimuodossa tämän ratkaisee painokertoimet αi ja tietyt ehtoja noudattavat pisteet. Pisteet, joilla αi on nolla, eivät vaikuta päätökseen; pisteet, joilla αi > 0, ovat tukivektorit. Päätöspinta lasketaan vain tukivektorien tietojen avulla: f(x) = sign( sum_i αi yi K(xi, x) + b ), missä K on kernel-funktio ja xi ovat tukivektorit.

Ominaisuudet ja käytännöllisyys: Tukivektorit voivat sijaita marginaalin reunalla; pehmeän marginin tapauksessa jotkut tukivektorit voivat olla sisäpuolella marginia. Tukivektorien määrä on usein huomattavasti pienempi kuin koko koulutusjoukko, mikä rajoittaa mallin kompleksisuutta ja tulkittavuutta. Kernel-tekniikan avulla SVM voi luokitella ei-lineaarisesti eriyttäviä luokkia käyttämällä ei-lineaarista kartoitusta φ(x) piiloon ominaisuustilaan.

Moniluokkaisuus: SVM on alun perin binääluokitteluun, mutta useimmiten toteutetaan One-vs-rest- tai One-vs-One -perusteilla. Tukivektorit ovat keskeisessä roolissa sekä normaalilinjaisessa että kernelöityssä SVM:ssä, ja niiden valinta määrittää suurimman osan päätöksen vaikuttavuudesta.