Naapuruusmenetelmät

Naapuruusmenetelmät ovat tietojenkäsittelyssä ja erityisesti koneoppimisessa käytettyjä algoritmeja, jotka luokittelevat tai ennustavat datapisteen arvon sen lähimpien naapureiden perusteella. Perusideana on, että samankaltaiset datapisteet sijaitsevat todennäköisesti lähellä toisiaan ja niillä on samat ominaisuudet tai luokat.

Yleisin ja tunnetuin naapuruusmenetelmä on K-lähimmän naapurin algoritmi (K-NN). Tässä menetelmässä jokaiselle uudelle datapisteelle etsitään K kappaletta sen lähimpiä datapisteitä koulutusdatasta. Jos kyseessä on luokitteluongelma, uusi datapiste luokitellaan enemmistön luokan mukaan näiden K naapurin keskuudessa. Regressio-ongelmissa uuden datapisteen arvo ennustetaan laskemalla naapureiden arvojen keskiarvo.

Etäisyyden mittaamiseen käytetään tyypillisesti euklidista etäisyyttä, mutta myös muita etäisyysmittoja, kuten Manhattan-etäisyyttä, voidaan hyödyntää. Valitun K:n arvolla ja etäisyysmitan valinnalla on merkitystä algoritmin suorituskykyyn. Liian pieni K voi johtaa kohinaan herkkyyteen, kun taas liian suuri K voi häivyttää paikallisia piirteitä ja heikentää tarkkuutta. Naapuruusmenetelmät ovat yksinkertaisia toteuttaa ja ymmärtää, mutta ne voivat olla laskennallisesti raskaita suurilla datajoukoilla, erityisesti ennustusvaiheessa, koska jokaisen uuden datapisteen kohdalla on käyty läpi koko koulutusdata löytääkseen lähimmät naapurit.