L1förlusten

L1-förlusten, även känd som absolutförlusten, är en förlustfunktion som mäter skillnaden mellan observerade värden och modellens förutsägelser genom summan av de absoluta avvikelserna. För en uppsättning observationer y = (y1, y2, ..., yn) och motsvarande förutsägelser ŷ = (ŷ1, ŷ2, ..., ŷn) skrivs den som L1(y, ŷ) = ∑i |yi − ŷi|; för ett enskilt exempel är L1 = |y − ŷ|.

Funktionens egenskaper gör den särskilt användbar i robusta sammanhang. L1-förlusten är convex men icke-differentiell vid residualnoll, vilket kräver användning av subgradienter eller particularisering av optimeringsmetoder som kan hantera icke-differentierbara punkter. I ett univariabelt fall är det känt att minimering av L1 ger medianen som optimal estimator; i linjär regression kallas metoden LAD (least absolute deviations) och används för robust regressionsanalys.

Användningsområden och sammanhang: L1-förlusten används ofta inom robust regression när data innehåller outliers eller när antagandet om normalfördelade fel är oacceptabelt. Inom maskininlärning används den som alternativ förlustfunktion vid regressionstasks och kan kombineras med olika optimeringstekniker, till exempel linjär programmering eller convex optimization. Den jämförs ofta med L2-förlusten (kvadrerad fel) som är mer känslig för extrema avvikelser.

Variant och närliggande begrepp: Huber-förlusten är en smidig kompromiss mellan L1 och L2 som behåller robusthet samtidigt som den är differentiell. L1-norm används också i form av reguljärisering (L1-regularisering) för att uppnå sparsitet i modeller, vilket skiljer sig från själva L1-förlusten men ofta används tillsammans i samma modellramverk.