Modellparaméterek

Modellparaméterek a modell viselkedését meghatározó numerikus értékek. Ezek meghatározzák, hogyan alakul a kimenet a bemenetek függvényében, és általában ismeretlenek a modellezés kezdetén. A paraméterek értékei kölcsönhatásban állnak a modell szerkezetével: a megfelelő becslésük révén a modell képes leírni adathalmaz által okozott mintázatokat.

A különbség a paraméterek és a hyperparaméterek között: a modellparaméterek a tanulás során közvetlenül meghatározzák a kimenetet (például regressziós koefficiensek vagy neurális hálózatok súlyai). A hyperparaméterek pedig az előre beállított körülmények (tanulási ráta, regularizáció, architektúra), amelyeket kézben tartva befolyásoljuk a tanulást, de nem a modell közvetlen részei.

Becslésük történhet úgy, hogy a valószínűségi vagy négyzetes hiba alapján maximum likelihood vagy legkisebb négyzetek módszereivel, Bayes-tanulás esetén priorokat és a posteriorból húzott értékeket használunk. Gyakorlati módszer a gradient descent és más optimalizációs algoritmusok.

Értelmezésük során a becsült értékek hatása és a bizonytalanság figyelembevétele fontos. A konfidencia- vagy posterior intervallumok segítenek megérteni, mennyire stabilak az összefüggések.

Vannak gyakorlati problémák is: identifiabilitási gondok, túlilleszkedés és multikolinaritás esetén skálázás, regularizáció (L1/L2) és modellválasztás szükséges. Példák: lineáris regression koefficiensei, logisztikus regresszió súlyai, neurális hálózatok súlyai, vagy egy paraméteres eloszlás, például a normált eloszlás mean és variance.