Algoritmestabilitet

Algoritmestabilitet er et begrep som beskriver hvor stor følsomheten til en algoritmes utdata er for små endringer i inndata eller i treningsdata. Begrepet brukes i både numerisk analyse og maskinlæring og statistikk, og formålet er å sikre pålitelige, robuste og reproduserbare resultater når data inneholder støy eller varierer mellom kjøringer.

I numerisk analyse skiller man ofte mellom bakoverstabilitet og forward-stabilitet. En beregning er bakoverstabil hvis det avgitte resultatet er eksakt for et lite endret inndata. Dette henger sammen med problemets kondisjonstall: et dårlig kondisjonert problem kan gjøre små inndataendringer til store endringer i utdata, uavhengig av hvor nøyaktig algoritmen er. Gauss-eliminering med partiell pivotering regnes som et bakoverstabilt eksempel, og slike analyser hjelper til å forstå og begrense numeriske feil.

I maskinlæring beskriver algoritmestabilitet hvor mye en modell endres når ett enkelt treningssett endres ved å erstatte eller fjerne ett eksempel. Uniform stabilitet og andre mål kobler stabilitet til generalisering: høy stabilitet innebærer ofte bedre generalisering og lavere forventet tap. For å øke stabiliteten brukes regularisering, enklere modeller eller ensemble-metoder som bagging. I praksis krever dette bevisst valg av algoritme, god datarensing og numeriske metoder som begrenser feil for å sikre robuste resultater.