Koulutusdataa

Koulutusdataa on tekoälyn ja koneoppimisen mallien opettamiseen käytetty aineisto. Se voi sisältää tekstiä, kuvia, ääniä tai rakenteellista dataa sekä usein sekä syötteen että sille annettavan oikean vastauksen (etiketit) yhdistelmän. Koulutusdatan avulla malli oppii tunnistamaan kuvioita ja tekemään ennusteita tai päätöksiä uusilla, näkemättömillä esimerkeillä.

Koulutusdata jaetaan usein valvottuun oppimiseen (supervised), jossa esimerkeillä on etiketti, sekä valvomattomaan tai itseohjautuvaan oppimiseen, jossa etikettejä ei tarvita. Lähteitä ovat julkiset datasetit, lisensoitu tai organisaation omistama data, verkkosisältö, käyttäjien tuottama data sekä syntetisoitu data. Aineistoa voidaan yhdistellä, kunhan oikeudelliset ja eettiset näkökulmat huomioidaan. Ennakko- ja esikäsittelyyn kuuluu puhdistaminen, normalisointi, tokenointi tekstissä sekä ominaisuuksien skaalaus ja annotaation laadun varmistaminen.

Käytännön seikat ja lainsäädäntö ovat keskeisiä. Koulutusdatan keräämisen ja käytön on noudatettava tekijänoikeus- ja yksityisyyden suojaa koskevia sääntöjä sekä lisenssiehtoja. Henkilötietoja käsitettäessä noudatetaan soveltuvia lakeja ja suosituksia, ja data tulisi tarvittaessa anonymisoida tai pseudonymisoida. Organisaatioiden tulee varmistaa datan käytön läpinäkyvyys ja vastuullisuus sekä hallita datan hankintaa ja riippuvuuksia.

Laatu ja hallinta ovat keskeisiä: edustavuus, virheettömyys ja ajantasaisuus sekä vinoumien hallinta. Datan provenance, versionointi ja dokumentaatio, kuten datasheet for datasets ja model cards, ovat yleisiä käytäntöjä. Datan eettinen käsittely ja toistettavuuden tukeminen ovat olennaisia osia kehitysprosessia.

---