tréningvalidációteszt

A tréning-validációteszt a gépi tanulásban használt adathalmaz-szétosztási eljárás, amelynek célja a modell teljesítményének megbízható értékelése és a hiperparaméterek finomhangolása. Az adatok általában három részre oszlanak: tréning, validáció és teszt.

A tréningkészletet a modell megtanítására használják. A validációs készletet a hiperparaméterek beállítására és a modell általánosítási képességének felmérésére használják. A tesztkészletet pedig a végső, független teljesítmény becslésére tartják fenn.

Különböző szétosztási stratégiák léteznek. A hagyományos módszer a hold-out, amikor az adatok véletlenül kerülnek a három készletbe. A k-szeres keresztezési validálás (k-fold) stabilabb becslést ad a validációs teljesítményre. A nested cross-validation különválasztja a hiperparaméter-optimalizálást és a végső becslést. Idősorokra időrendi megfontolások szükségesek: forward chaining vagy rolling origin.

Gyakorlati szempontok: elkerülhető a adat-szivárgás, az előfeldolgozási lépések és a kódolások csak a tréning adathalmazon történő meghatározását követően kerülnek alkalmazásra a validációs és tesztkészleten. A reprodukálhatóság érdekében rögzíteni kell a véletlen magot és a folyamatokat.

A tipikus értékelő mutatók a feladat típusától függnek: osztályozásnál például pontosság, precizitás, recall, F1-score; regresszióban RMSE vagy MAE; a tesztkészletre adott mérőszám adja a végső általánosítási teljesítményt.

Összegzés: a tréning-validációteszt fontos eszköz a modellek fejlesztésében, amely segít a túlilleszkedés megelőzésében és a valódi teljesítmény becslésében, ugyanakkor adat-igényes és gondos kivitelezést igényel.