Evaluointikokoelmaa

Evaluointikokoelmaa on termi, jota käytetään kuvaamaan järjestettyä kokoelmaa arviointimateriaaleja, mittareita ja niihin liittyvää dataa. Sillä voidaan tarkoittaa sekä inhimillisen arvioinnin että ohjelmistojen tai koneoppimismallien suorituskyvyn mittaamiseen tarkoitettua aineistoa. Termi ei ole vakiintunut jokaisessa lähteessä, mutta sitä käytetään kuvaamaan kokoelmia, joiden tarkoituksena on tukea systemaattista arviointia ja vertailua.

Evaluointikokoelman keskeiset osat ovat testattavat yksiköt tai kysymykset, arviointikriteerit tai rubriikit sekä tulosten mittaus- ja laskentatavat. Lisäksi kokoelmaan kuuluu usein vastausvaihtoehtoja ja palautteita, sekä tilastollista metadataa kuten luotettavuus- ja validiteettiindikaattoreita. Tiedostomuodot voivat olla digitaalisia dokumentteja, taulukkoaineistoa tai sovellusten tuottamia vientitiedostoja. Valinnaisina osina voivat olla esimerkkivastauksia ja pisteytysohjeita.

Evaluointikokoelman rakentaminen ja hallinta edellyttää huolellista kuratointia. Valinta, otos ja edustavuus on varmistettava, jotta tulokset ovat yleistettävissä. Henkilötietojen ja muun arkaluonteisen tiedon käsittely on huomioitava tietosuojan ja eettisten periaatteiden mukaisesti, ja usein käytetään anonymisointia sekä provenance- ja versionhallintamenetelmiä.

Käyttökonteksteja on lukuisia. Formatiivisessa arvioinnissa kokoelmaa käytetään ohjaamaan oppimista ja antamaan palautetta, kun taas summatiivisissa vertailuissa ja akkreditoinnissa sen avulla voidaan vertailla eri kurssien tai ohjelmien suorituksia. Mikäli kokoelmaa käytetään tekoälyn tai ohjelmistojen arvioinnissa, se toimii testausjoukkona, jolla mitataan suorituskykyä eri olosuhteissa.

Evaluointikokoelmaan liittyviä käsitteitä ovat evaluointidatasetti ja testausjoukko. Sen hallinta vaatii selkeää metadatointia, lisensointi- ja käyttöehdot sekä säännöllistä päivittämistä vastatakseen muuttuvia opetuksellisia tai teknisiä vaatimuksia.