ABtestaamisessa

AB-testaaminen, tai AB-testaus, on menetelmä, jossa kaksi vaihtoehtoista käyttöliittymä- tai tuotemuutosta (varianti A ja variaanti B) testataan satunnaistetusti erillisinä ryhminä. Tarkoituksena on selvittää, kumpi vaihtoehto tuottaa paremman tuloksen ennalta määritellyn mitattavan tavoitteen, kuten konversioprosentin, klikkiprosentin tai tuloarvon, kannalta. Tutkimus perustuu oletukseen, että B on parempi kuin A, ja tulos päätellään tilastollisesti.

Prosessi etenee usein seuraavasti: määritellään mittari ja tavoite sekä muodostetaan hypoteesi; lasketaan tarvittava otoskoko tilastollisen voiman (power) avulla; käyttäjät jaetaan satunnaisesti A-ryhmään ja B-ryhmään; kerätään dataa riittävän pitkän ajan ja riittävän liikenteen ollessa kyseessä; analysoidaan tulokset tilastollisesti ja arvioidaan sekä tilastollinen merkitsevyys että käytännön merkitys. Tulosten tulkinnassa kiinnitetään huomiota mahdollisiin sekoittaviin tekijöihin, kuten kausivaihteluun, samanaikaisiin muutoksiin ja jatkuvaan testaukseen liittyviin vaikutuksiin.

AB-testaamisen sovellukset ovat yleisiä digitaalisilla alustoilla, kuten verkkosivustoilla ja mobiilisovelluksissa. Menetelmä ei kuitenkaan anna kaikenkattavaa kuvaa, vaan kertoo tuloksen valitulle metriikalle ja kohdeyleisölle. Siksi tuloksia tulisi käyttää apuna päätöksenteossa ja yhdistää muihin tutkimusmenetelmiin sekä liiketoiminnan kontekstiin.