Testiaineistot

Testiaineistot ovat datasettejä, joita käytetään järjestelmien, mallien tai ohjelmistojen testaamiseen ja arviointiin. Niiden tarkoituksena on tarjota objektiivinen, usein pidetty “ootteen ulkopuolinen” arvio suorituskyvystä tai toiminnasta. Testiaineistot ovat usein erillisiä koulutus- ja kehitysaineistoista, ja ne voivat koostua suunnitellusta testikokonaisuudesta, reproducible-testaamisesta sekä laadunvarmistuksesta.

Testiaineistot voidaan luokitella useilla tavoilla. Yleisiä erotteluja ovat koulutus-, validointi- ja testiaineistot, joista testiaineistot ovat usein se, jolla mitataan todellista suorituskykyä. Ne voivat olla sekä reaaliaikaisia että keinotekoisesti tuotettuja, ja ne voivat sisältää muun muassa etukäteen merkittyjä (labeled) tai merkitsemättömiä (unlabeled) tiedostoja. Alikategorioita ovat esimerkiksi kuvadata-, tekstidata- ja äänidatat sekä taulukko- tai rakenteelliset aineistot. Tunnettuja esimerkkikokonaisuuksia ovat ImageNet, COCO ja MNIST kuvamenetelmien arviointiin sekä SQuAD tai GLUE kaltaiset kielimallien benchmarkit.

Käyttö ja merkitys. Testiaineistoja käytetään mallien ja ohjelmistojen suorituskyvyn vertailuun, virheiden havaitsemiseen sekä tulosten toistettavuuden varmistamiseen. Ne tukevat rekisteröityä tutkimusta ja kilpailullista kehitystä, sekä nopeuttavat regressio- ja regressiodategioiden testauksia. Yleensä testiaineistojen valintaan vaikuttavat datan laatu, kattavuus, representatiivisuus ja resurssien saatavuus.

Tietosuoja ja eettisyys. Testiaineistojen hallinnassa kiinnitetään huomiota lisensseihin, yksityisyyteen, anonymisointiin ja mahdolliseen vääristymään. Hyvä käytäntö on dokumentoida aineiston tausta, koostumus ja rajoitukset sekä noudattaa datan käyttöehtoja ja tarvittaessa koostaa datasheet tai vastaavat kuvaukset.