treeningandmestikus

Treeningandmestik on masinõppe mudelite treenimiseks kasutatav andmestik. Tavaliselt sisaldab see näiteid, kus on sisendomadused (feature’id) ja vastavad sihtmärgid ehk sildid. Supervised learningi puhul on andmestik märgistatud; juhendamata õpe kasutab peamiselt ainult sisendiandmeid.

Treeningandmestiku kvaliteet sõltub suurusest, mitmekesisusest ja sellest, kui hästi see peegeldab lahendatava probleemi eri olukordi. Olulised on märgistuste täpsus ja järjepidevus, puuduvate väärtuste käsitlemine ning duplikaatide kõrvaldamine. Allikad võivad olla avalikud andmestikud, eraandmed või sünteetiliselt genereeritud andmed. Eeltöötlus hõlmab puuduvate väärtuste käsitlemist, vigade parandamist, andmete normaliseerimist ning koodimise või teisenduste tegemist. Lisaks kasutatakse andmete suurendamist (data augmentation) mõnel juhul, et parandada mudeli üldistamist.

Andmestiku jagamine treening-, valideerimis- ja testkomplektideks on tavaline praktika; mõnikord rakendatakse ka kross-valideerimist. Andmete kauanõudus ja järjepidev dokumentatsioon on olulised, et säilitada võrreldavus ja jälgitavus tulevaste mudelite arenduses.

Eetika ja privaatsus: andmete kogumine ja kasutamine peab vastama asjakohasele õiguskeskkonnale (nt GDPR), hõlmama anonimiseerimist ning kasutaja nõusolekut või lisaks kokkuleppeid andmete töötlemiseks.

Rakendused: treeningandmestikku kasutatakse klassifikatsioonis, regressioonis, ajalistes prognoosides, loomuliku keele töötlemises, arvutinägemises ning helindustöös.