SVMissä

SVMissä, lyhenteestä support vector machines, on valvottu koneoppimisen menetelmä, jota käytetään sekä luokitteluun että regresioon. Sen keskeinen idea on löytää erotteluhyperpinta datan luokkien välillä ja maksimoida marginaali, eli etäisyys lähimmistä datapisteistä. Tämän marginaalin optimointi johtaa usein hyvään yleistymiskykyyn.

Lineaarisessa SVM:ssä muodostetaan erotusmalli, jossa luokat erotetaan lineaarisesti. Tavoitteena on löytää suora tai hypertaso, joka maksimoi etäisyyden luokkien välillä ja minimoi virheet päättelyssä. Tämä menetelmä soveltuu hyvin, kun data on suoraan erotettavissa tai melkein erottettavissa helposti.

Kun data ei ole lineaarisesti erotettavissa, käytetään ydinfunktioita (kernel trick). Ydinfunktiot muuttavat dataa piilevästi korkeampiin ulottuvuuksiin, joissa erotus on mahdollista. Yleisimmät ydinfunktiot ovat lineaarinen, polynominen, RBF (gaussinen) ja sigmoidaalinen. Kernel-funktion avulla voidaan laskea päätös ilman, että dataa on eksplisiittisesti muutettava korkeampiin ulottuvuuksiin.

Koulutus on konveksinen optimointiongelma; sekä lineaarisessa että epälineaarisessa tapauksessa ratkaisu voidaan löytää kvadratisen optimoinnin menetelmillä. Ratkaisussa ovat tukivektorit, ne datapisteet, joiden ympärille päätösmalli rakentuu ja jotka vaikuttavat marginaaliin.

SVM:llä on useita etuja, kuten vahva teoreettinen tausta ja hyvä suorituskyky pienissä ja keskisuurissa tietojoukoissa sekä tulkittavuus tukivektorien kautta. Rajoituksia ovat skaalautuvuus suurille datamäärille sekä herkkyys hyperparametreille (C ja gamma) sekä muistivaatimukset. SVM:ää käytetään esimerkiksi kuvankäsittelyssä, tekstianalyysissä ja bioinformatiikassa.