valiandmete

Valiandmed on andmestiku osa, mida kasutatakse mudeli arengul selle hindamiseks ja hüperparameetrite optimeerimiseks. Need andmed eraldatakse treeningandmestikust, kuid neid ei kasutata mudeli koolitamiseks. Valideerimise peamine eesmärk on hinnata mudeli üldistamist ning võrrelda erinevaid mudeleid või seadistusi enne lõpliku hindamise teostamist testandmetel.

Kõige levinumad valiandmete kasutamise meetodid on hold-out jagamine ja ristvalideerimine (k-fold). Hold-out jagab andmestiku tavaliselt kolmeks osaks: koolitus-, vali- ja testandmestik, kus valiandmeid kasutatakse mudeli hindamiseks ja parameetrite seadistamiseks. Ristvalideerimises jagatakse andmed mitmeks alamhulgaks ning mudelit hinnatakse kõigil lõigetel, mis vähendab hindamisveamust. Ajaliselt sõltuvate andmete puhul kasutatakse sageli spetsiaalseid valideerimismeetodeid, mis säilitavad ajast sõltuvuse.

Olulised kaalutlused hõlmavad valiandmete esinduslikkust, stratifikatsiooni klassijaotuses ning andmete lekkimise vältimist, et testandmed ei satu treeningprotsessi. Privaatsusnõuded ning andmekaitse tuleb arvesse võtta ning valiandmete hoidmine eraldi test- või tootmisandmetest on tavapärane praktika.

Tulemuste kajastamisel esitatakse hindamiskriteeriumid (nt täpsus, F-measure) ning kirjeldatakse metoodikat, et tulemused oleksid reprodutseeritavad. Valideerimine on masinõppe elutsüklis kriitiline komponent, mis aitab parandada mudelite üldistust.