Modellinterpretasjon

Modellinterpretasjon er studiet av i hvilken grad det er mulig å forstå og begrunne beslutningene til en maskinlæringsmodell. Målet er å gjøre modellens beslutninger tilgjengelige for mennesker, avdekke feil og skjevheter, og dermed støtte ansvarlig bruk. Man skiller ofte mellom global tolkning av modellens generelle atferd og lokal tolkning av enkelte prediksjoner.

Det finnes to hovedelementer: intrinsisk tolkbare modeller og post-hoc forklaringer. Intrinsisk tolkbare modeller har strukturer som er i utgangspunktet enkle å forstå, for eksempel beslutningstrær eller lineære modeller. For mer komplekse modeller, som dype nevrale nettverk, brukes post-hoc forklaringer som prøver å forklare hvilke trekk som påvirker en bestemt beslutning og hvor mye.

Vanlige metoder inkluderer trekk- eller funksjonsbetydning (feature importance), permutasjonsbasert vurdering, SHAP- og LIME-forklaringer, partielle avhengighetsplott (PDP) og akkumulerte lokale effekter (ALE). Counterfactual forklaringer viser hvordan små endringer i input kunne endret utfallet; eksempelbaserte forklaringer og saliency maps brukes i bildeoppgaver.

Anvendelser finnes i finans, helsevesen, HR og offentlig sektor. Hovedformålene er å øke tillit, oppfylle regelverk, muliggjøre feilsøking og gjøre beslutninger mer rettferdige og gjennomsiktige.

Utfordringer inkluderer at tolkbarhet noen ganger kommer på bekostning av prediksjonenes nøyaktighet, og at forklaringer kan være misvisende hvis de ikke trekkes opp i riktig kontekst. Det er viktig å vurdere troverdighet, stabilitet og relevans for brukeren, samt å sikre at forklaringer ikke skjuler bias. Reguleringer og etiske retningslinjer varierer mellom land og sektor og kan kreve dokumentasjon av modellrisiko og forklaringsplikt.