L1regulárizáció

L1 regularizáció, ismertebb nevén Lasso (Least Absolute Shrinkage and Selection Operator) regularizáció, egy olyan technika, amelyet a gépi tanulásban és a statisztikában használnak a modellek túlzott illeszkedésének (overfitting) megelőzésére és a jellemzők (features) kiválasztására. Lényege, hogy a modell veszteségfüggvényéhez egy büntetési tagot ad hozzá, amely a modell súlyainak abszolút értékének összege.

Ez a büntetési tag arra ösztönzi a modellt, hogy a kisebb súlyokat nullára csökkentse. Ezzel szemben az L2 regularizáció, amely a súlyok négyzetösszegét bünteti, inkább a súlyokat teszi kicsivé, de ritkán nullára. Az L1 regularizáció azon képessége, hogy nullára állítja a súlyokat, azt jelenti, hogy a nem fontosnak ítélt jellemzőket hatékonyan eltávolítja a modellből, így automatikus jellemzőkiválasztást végez.

Az L1 regularizációt gyakran alkalmazzák nagy dimenziójú adatok esetén, ahol sok potenciális jellemző áll rendelkezésre, de csak egy részük releváns a predikció szempontjából. A Lasso-val képzett modellek interpretálhatóbbak lehetnek, mivel kevesebb jellemzőt használnak. A büntetési tag erősségét egy hiperparaméter szabályozza, amelynek optimális értékét általában keresztvalidálással határozzák meg.