förklarbarhet

Förklarbarhet, eller interpretabilitet, avser hur lätt det är för människor att förstå hur en modell eller beslutsprocess fungerar och varför ett visst resultat uppstår. Inom artificiell intelligens och dataanalys syftar förklarbarhet till att göra modellerna spårbara, visa vilka faktorer som påverkar utfall och hur ingångsdata samverkar i beslutsprocessen.

Det finns två huvudsakliga dimensioner: global förklarbarhet beskriver modellens allmänna arbetsgång, medan lokal förklarbarhet fokuserar på en enskild prediktion. Tillvägagångssätt kan delas in i intrinsisk förklarbarhet, där modellen i sig är lätt att förstå (t.ex. enklare arkitekturer eller reglerbaserade system), samt post-hoc-förklaringar, som tolkningar av en redan tränad modell. Vanliga metoder inkluderar lokala förklaringar, funktionell visualisering och motexempel eller kontrafaktiska förklaringar; i praktiken används också tekniker som LIME och SHAP.

Användningsområden förekommer i många sektorer där beslut påverkar människor; inom hälso- och sjukvård, finans, rekrytering, rättsväsende och offentlig sektor. Förklarbarhet bidrar till ökad tillit, underlättar felsökning och möjliggör ansvar och granskning av algoritmiska beslut. Den är också central i etiska och reglerande sammanhang.

Utmaningar inkluderar en pågående konflikt mellan noggrannhet och förklarbarhet, risken för att förklaringar förenklar verkligheten och därmed ger felaktiga slutsatser, samt risker för bias. Bedömning av förklarbarhet sker både kvalitativt (användbarhet och förståelse) och kvantitativt (stöd för beslut eller jämförbarhet mellan modeller). Frågor om reglering och ansvar, inklusive rättsliga krav och principer för transparens, är i fokus i många jurisdiktioner.