Toetusvektorimasinad

Toetusvektorimasinad (SVM) on järelevalvelised masinõppe meetodid, mida kasutatakse nii klassifitseerimiseks kui ka regressiooniks. SVM-i peamine idee on leida optimaalne hüpertasand, mis eraldab andmepunktid erinevatesse klassidesse. See optimaalne hüpertasand on see, millel on suurim marginaal ehk kaugus lähimatest andmepunktidest mõlemast klassist. Neid lähimaid andmepunkte nimetatakse toetusvektoriteks, sest nad määravad hüpertasandi asukoha.

Klassifitseerimisülesannetes püüab SVM leida hüpertasandi, mis maksimeerib marginaali andmepunktide vahel. Regressiooniülesannetes, mida nimetatakse toestusvektoriregressiooniks (SVR), on eesmärk leida funktsioon, mis sobib andmetega nii hästi kui võimalik, samal ajal kui enamik andmepunkte jääb lubatud vea piiridesse.

SVM-i võimsus seisneb selle võimes kasutada nn tuumafunktsioone. Tuumafunktsioonid võimaldavad SVM-il efektiivselt töötada mitte-lineaarselt eraldatavate andmetega, kaardistades andmed kõrgema dimensiooniga ruumi, kus nad võivad muutuda lineaarselt eraldatavaks. Levinud tuumafunktsioonide hulka kuuluvad lineaarne, polünoom ja radiaalse baasi funktsioon (RBF).

SVM-i eeliste hulka kuulub nende tõhusus suure-dimensioonilistes ruumides, isegi kui andmepunktide arv on väiksem kui dimensioonide arv. Samuti on nad tõhusad, kui marginaal on suur, kuna nende otsustamise funktsioon on sõltuv ainult toetusvektoritest. Siiski võivad SVM-id olla arvutuslikult kallid suure andmekogumite puhul ja nende parameetrite valik võib olla keeruline.