Kernelbaserede

Kernelbaserede metoder er en gruppe teknikker inden for maskinlæring og statistik, der bygger på kernelfunktioner til at måle lighed mellem data og til at lære i et implicit højdimensionelt featurerum uden eksplicit at beregne de nye featurevektorer.

Hovedideen er at erstatte beregninger i det eksplicit udvidede rum med beregninger i det indre produkt i dette rum ved hjælp af kerneltricket: K(x, y) = ⟨φ(x), φ(y)⟩, hvilket gør det muligt at arbejde med ikke-lineære beslutningsgrænser uden at vælge eller beregne φ visuelt. Dette giver fleksibilitet til at modellere komplekse mønstre uden eksplosiv featureudvidelse.

Eksempelkerner inkluderer lineær kerne K(x, y) = x^T y, polynomiel kerne, Gaussisk/RBF-kerne K(x, y) = exp(-||x - y||^2 / (2σ^2)) og Laplaciansk kerne. Forskellige kerner giver forskellige former for afstands- og lighedsbaserede tilgange til data.

Anvendelser omfatter support vector machines (SVM) til klassifikation og regression, kernel ridge regression, kernel principal component analysis (KPCA) og andre ikke-lineære læringsopgaver. Desuden bruges kernelbaserede modeller i probabilistiske rammer som Gaussian processer, hvor kernelfunktionen fungerer som kovariansfunktion.

Fordele og begrænsninger: Kernelbaserede metoder tillader ikke-lineær læring uden eksplicit featureudvidelse og er generelt kraftfulde på små til mellemstore datasæt. Udfordringerne inkluderer valg af kerne og hyperparametre, samt beregning og hukommelseskrav til Gram-matricen (O(n^2) lager og O(n^3) beregning i traditionel opsætning), hvilket kan være problematisk for store datasæt.

Tilnærminger til store datasæt omfatter Nyström-tilnærminger og Random Fourier Features, der reducerer beregnings- og hukommelsesomkostninger.

Historisk opstod kernelbaserede metoder og kerneltricket som centrale værktøjer i maskinlæring i løbet af 1990’erne med udbredelsen af SVM, og har siden dannet grundlag for mange videre kernelbaserede teknikker inden for både teori og anvendelser.