hyperparaméterek

Hyperparaméterek a gépi tanulásban olyan konfigurációs változók, amelyek értékei nem tanulhatók közvetlenül az adatokból. Ehelyett ezeket a változókat a modellépítési folyamat előtt vagy alatt kell meghatározni. A hyperparaméterek hatással vannak a modell teljesítményére és a tanulási folyamat sebességére. Például egy neurális hálózatban a rétegek száma vagy az egyes rétegekben található neuronok száma hyperparaméterek. Hasonlóképpen, a tanulási ráta, amely meghatározza, hogy milyen mértékben frissülnek a modell súlyai minden egyes frissítés során, egy másik gyakori hyperparaméter. A regularizációs erősség, amely segít megelőzni a túlzott illeszkedést, szintén hyperparaméter. Az optimizáló kiválasztása, mint például az Adam vagy a SGD, szintén hyperparaméternek tekinthető. A hyperparaméterek megfelelő beállítása kulcsfontosságú a legjobb modell teljesítmény eléréséhez. Ezt a folyamatot hyperparaméter-hangolásnak nevezik, és általában olyan technikákat foglal magában, mint a rácskeresés, a véletlenszerű keresés vagy a Bayesian optimalizálás, amelyek célja a hyperparaméterek olyan kombinációjának megtalálása, amely maximalizálja a modell teljesítményét egy validációs adathalmazon.