hiperparaméterekre

A hiperparaméterekre a gépi tanulásban olyan konfigurációs változókat jelentenek, amelyek beállítása a modell tanítási folyamata előtt történik, és nem maguk a modell által tanulhatók. Ezek a hiperparaméterek határozzák meg a modell képzését és teljesítményét. Például egy neurális hálózatban a rétegek száma, az egyes rétegekben lévő egységek száma, a tanulási ráta, a regularizációs paraméterek, vagy a kiválasztott aktivációs függvény mind hiperparamétereknek minősülnek.

A hiperparaméterek helyes kiválasztása kulcsfontosságú a jó modell teljesítmény eléréséhez. A rosszul megválasztott hiperparaméterek alul- vagy túltanításhoz vezethetnek, ami rontja a modell általánosítási képességét új, látatlan adatokon. A hiperparaméterek optimalizálása egy iteratív folyamat, amely során különféle értékeket próbálnak ki, és értékelik a modell teljesítményét egy validációs halmazon.

Gyakori hiperparaméter-optimalizálási technikák közé tartozik a rácskeresés (grid search), a véletlenszerű keresés (random search) és a Bayes-optimalizálás. A rácskeresés az összes lehetséges hiperparaméter-kombinációt kipróbálja egy előre definiált tartományban. A véletlenszerű keresés véletlenszerűen választ ki kombinációkat, ami gyakran hatékonyabb lehet, mint a rácskeresés, különösen nagy számú hiperparaméter esetén. A Bayes-optimalizálás okosabb stratégiát alkalmaz, korábbi kiértékelések eredményeit felhasználva próbálja meg kitalálni a következő optimális hiperparaméter-kombinációt.