tilnærmingskapasitet

Tilnærmingskapasitet refererer til hvor godt en modellklasse kan representere en målfunksjon over et bestemt domene. Den beskriver modellens uttrykksevne eller hvor kompleks funksjonen den kan etterligne er. En modell med høy tilnærmingskapasitet kan tilnærme et bredt spekter av funksjoner, mens en modell med lav kapasitet begrenser hvilke mønstre den kan fange.

Kapasiteten er avhengig av flere faktorer: modellklasse (for eksempel lineære modeller, nevrale nettverk, kjernekernel-maskiner), antall parametere, arkitektur og valg av aktiveringsfunksjoner. Inne i teoretiske rammeverk brukes begreper som VC-dimensjon og Rademacher-kompleksitet for å beskrive eller begrense kapasiteten. I tillegg understrekes universell tilnærmingsteorem at visse modellklasser, som nevnte nevrale nettverk med tilstrekkelig kapasitet og passende aktivasjon, kan tilnærme enhver kontinuerlig funksjon på et kompakt intervall.

I praksis må tilnærmingskapasiteten balansere bias og varians. For høy kapasitet kan føre til overtilpasning (overfitting) hvis treningsdataene er begrensede eller støyete; for lav kapasitet gir underfitting og utilstrekkelig tilnærming. Regularisering, arkitekturvalg, tidsbegrenset trening eller tidlig stopp, og grundig validering er typiske metoder for å kontrollere kapasiteten.

Kapasitet er også relevant i ulike felt som maskinlæring, statistikk, signalbehandling og kontrollteori. Flere praktiske vurderinger inkluderer hvor mye data som er tilgjengelig, støy i dataene og ønsket generaliseringsevne på ukjente eksempler. Eksempler inkluderer nevrale nettverk og kjernelæringsmetoder hvor endringer i modellens kompleksitet påvirker tilnærmingsmulighetene betydelig.