Testiaineistoja

Testiaineistoja ovat tilastollisissa tutkimuksissa sekä ohjelmistojen ja koneoppimismallien arvioinnissa käytettäviä datakokonaisuuksia, joiden tarkoituksena on mitata järjestelmän suorituskykyä uuden tiedon näkökulmasta. Ne erotetaan kehitys- ja koulutusdatoista sillä, että testiaineistoa käytetään mallin ennusteiden tai toimintojen arviointiin eikä sen oppimiseen.

Testiaineistot voivat olla keinotekoisesti tuotettuja (synthetic) tai todellisuudesta kerättyjä dataa. Ne voivat olla merkittyjä (labelled) tai merkkaamattomia riippuen testin tavoitteesta. Esimerkkejä ovat luokittelu-, regressio-, tunnistus- sekä ajallista dataa sisältävät kokoelmat sekä tekstin, kuvan, puheen tai sensoridatan sarjat. Testauksessa käytetään erilaisia jakoja ja evaluointimenetelmiä siten, että testidata pysyy erillään koulutusvaiheesta ja mahdollistaa suorituskyvyn vertailun.

Laatu ja edustavuus ovat keskeisiä: puutteellinen kattavuus tai vinoumat voivat johtaa harhaanjohtaviin tuloksiin. Tietosuoja ja yksityisyyden suoja on huomioitava, jolloin henkilötiedot on suojattava ja datan käyttöoikeudet sekä lisenssit on dokumentoitava. Datan alkuperä, eettiset rajoitukset ja käyttöehdot tulee selkeästi sopia ja merkitä.

Testiaineistojen hallinta sisältää datan keräämisen ja valmistelun, annotoinnin sekä dokumentoinnin. Ne tulisi versionoida ja tallentaa siten, että tutkimus on toistettavissa. Testausmenetelmät ja mittarit kannattaa julkaista tai kirjata kattavasti, jotta tulokset ovat vertailukelpoisia ja kestävät arviointia.