vertailumenetelmät

Vertailumenetelmät ovat tilastollisia ja laskennallisia keinoja, joilla arvioidaan eroja tai suorituskyvyn eroja kahden tai useamman vaihtoehdon, tilan tai menetelmän välillä. Niitä käytetään sekä tutkimusaseteluissa että käytännön päätöksenteossa, kun halutaan osoittaa todennäköisesti parempi vaihtoehto tai tunnistaa merkittäviä eroja dataa tarkastelemalla.

Tilastolliset vertailumenetelmät jakautuvat parametristen ja ei-parametristen menetelmien mukaan. Parametriset testit, kuten riippumattomien otosten t-testi, paired t-testi ja varianssianalyysi (ANOVA), edellyttävät tiettyjä oletuksia normaalijakaumasta ja varianssien yhdenmukaisuudesta. Ei-parametristen testien, kuten Mann–Whitney U -testi, Wilcoxonin merkkijono- tai Kruskal–Wallis -testi, käyttö on suositeltavaa, kun oletukset eivät täyty tai otoskoko on pienempi. Muutoksen mittaamiseen käytetään usein post-hoc-testejä ja korjauksia moninkertaisen testaamisen virheiden hallitsemiseksi, esimerkiksi Bonferroni- tai Holm-korjauksia.

Algoritmikehityksessä ja ohjelmistojen arvioinnissa vertailumenetelmät sisältävät A/B-testausta, jonka avulla vertaillaan satunnaistettujen ryhmien tuloksia, sekä erilaisia benchmarking- ja cross-validation -menetelmiä, joiden avulla voidaan arvioida mallien suorituskykyä ja yleispätevyyttä.

Prosessi tyypillisesti etenee kysymyksen määrittelystä datan keruuseen, oletusten tarkastukseen, menetelmän valintaan, analyysiin ja tulkintaan. Tärkeimmät raportoitavat mittarit ovat vaikutuskoko ja luottamusvälit p-arvon ohella, jolloin tulokset ovat sekä tilastollisesti että käytännöllisesti merkittäviä. Rajoitteina korostuvat sovellettujen menetelmien oletukset, otoskoko sekä neppaukset monimutkaisissa datoissa.