Tukivektoriregressio

Tukivektoriregressio on koneoppimisen menetelmä, joka perustuu tukivektorikoneisiin. Se tavoittelee ennustermin f(x) = w^T φ(x) + b siten, että koulutusdaten y-arvot poikkeavat f(x_i) arvosta enintään epsilonin. Mallia pyritään pitämään mahdollisimman tasaisena, eli painoarvojen luokitus tukevien vektorien määrään nähden minimoidaan.

Käytännössä tukivektoriregression käyttämä virhelöydyksessä on epsilon-insensitive loss. Tämä tarkoittaa, että jos |y_i - f(x_i)| ≤ ε, virhettä ei laskuteta; suuremmat poikkeamat kasvattavat kustannusta lineaaristi. Optimoitava ongelma voidaan esittää primalasennossa, jossa lisättyjen slack-muuttujien avulla pyritään ylläpitämään sekä pienuutta (||w||^2) että sallitusta virheestä johtuvia kustannuksia. Tärkeä parametri on C, joka säätelee tukea verrokkeja ja sallittua poikkeamaa.

Ongelman ratkaiseminen hyödyntää kernel-tekniikkaa, jonka avulla ei tarvitse explicitisti laskea φ(x)transformä. Näin voidaan käsitellä ei-lineaarisia riippuvuuksia käyttämällä esimerkiksi lineaarista, polynomikerrointa tai RBF-kerneleitä. Valittava ydin sekä sen parametrit (esim. γ RBF-kernelissä) vaikuttavat mallin joustavuuteen ja yleiseen suorituskykyyn.

Tukivektoriregressio sopii pieniin ja keskikokoisiin aineistoihin sekä tilanteisiin, joissa datat voivat käyttäytyä ei-lineaarisesti. Se tarjoaa hyvän yleistymiskyvyn huolimatta parametreista ja kerneleistä riippuvuudestaan, mutta opetus voi olla laskennallisesti vaativaa suuremmille datamäärille. Sopivia sovelluksia ovat esimerkiksi funktionarviointi, ajantasaiset ennusteet ja signaalinkäsittely.