keresztvalidációval

A keresztvalidációval a modell általánosítási teljesítményét becsüljük meg úgy, hogy az adathalmazt több részre osztják, majd a részleggel többször végrehajtják a tanítást és a kiértékelést. Az ilyen megközelítés csökkenti a véletlen felosztás okozta torzítást, és lehetővé teszi a modellek és beállítások összehasonlítását.

A leggyakoribb formája a k-keresztvalidáció: az adathalmazt k egyenlő részre osztják, minden iterációban a modell a k−1 rész alapján tanul, és a fennmaradó részben értékel. Az eredmény az egyes iterációk teljesítménymutatóinak átlaga és szórása. Az LOOCV (Leave-One-Out Cross-Validation) pedig speciális eset, ahol k=n.

Speciális változataik közé tartozik a stratifikált k-keresztvalidáció, amely a klasszertartományt megőrzi a felosztás során, és a többszöri ismétléses keresztvalidáció, amely több különböző felosztást alkalmaz a stabilabb becslés érdekében. Időfüggő adatok esetén pedig időalapú vagy rolling-origin keresztvalidációt használnak, hogy elkerüljék az időrend összekeveredését.

Fontos szempont, hogy a keresztvalidációt gondosan alkalmazzák: minden előfeldolgozási lépést, például skálázást, a keresztvalidáció minden iterációjában külön kell elvégezni, hogy a becslés ne legyen átcsúszó. Amikor hiperparamétereket hangolnak, célszerű nested keresztvalidációt használni a torzítás elkerülésére.

Alkalmazási területei: modellértékelés, modellválasztás és a generalizáció becslése, különösen korlátozott adathalmazok esetén.