Kernelregresjon

Kernelregresjon er en ikke-parametrisk regresjonsmetode som estimerer den betingede forventningen av Y gitt X ved å veie observasjonene gjennom en kernelfunksjon. Den mest kjente formen er Nadaraya-Watson-estimatoren, hvor m̂(x) = sum_i K((x - X_i)/h) Y_i delt på sum_i K((x - X_i)/h). Her er K en kernelfunksjon og h en båndbredde som styrer nivået av glatting. For flerdimensjonale X brukes ofte produktkernel eller andre multidimensjonale kerneler.

Kernelregresjon er fleksibel og krever ikke en spesifisert parametrisert form for forholdet mellom X og Y. Valg av kernel (for eksempel Gaussisk eller Epanechnikov) påvirker glattingen, mens båndbredden h kontrollerer bias og varians: små h gir lavere skygge og høyere varians, store h gir mer glatting og lavere varians men større bias. Bandbredden kan velges via kryssvalidering, plug-in metoder eller heuristikker.

I multivariante tilfeller lider metoden av “curse of dimensionality”; antallet nødvendige data vokser raskt med antall dimensjoner for å opprettholde presisjon. Estimatoren er konsistent under visse regularitetsforutsetninger, og bias-variansforholdet må håndteres i praktiske applikasjoner, spesielt nær grenser og i områder med få observasjoner.

Anvendelser finner man i økonomi, signalbehandling, miljø- og hydrologi, og mer generelt i maskinlæring som et ikke-parametrisk verktøy for å modellere komplekse, ikke-lineære forhold uten å anta en bestemt funksjonell form. Historisk ble metoden utviklet uavhengig av Nadaraya og Watson på 1960-tallet.