informasjonsgevinsten

Informasjonsgevinsten, ofte kalt informasjonsgevinst, er et mål på reduksjonen i usikkerhet om en tilfeldig variabel Y når man observerer en annen variabel X. Den brukes i informasjons- og maskinlæring for å vurdere hvor mye en attributt X bidrar til å forklare eller forutsi Y.

For diskrete variabler beregnes informasjonsgevinsten IG(Y; X) som IG(Y; X) = H(Y) − H(Y|X). Entropien H(Y) måler usikkerheten i Y, og H(Y|X) er den betingede entropien når man kjenner verdien av X. Entropi uttrykkes som H(Y) = −∑y p(y) log2 p(y). Den betingede entropien H(Y|X) = ∑x p(x) H(Y|X=x), der H(Y|X=x) = −∑y p(y|x) log2 p(y|x). I informasjonsteori er IG det samme som mutual information I(Y; X) = ∑x,y p(x,y) log2 [p(x,y) / (p(x)p(y))].

Bruksområder: i beslutningstrær bruker man informasjonsgevinsten for å velge den beste splitten av en attributt ved hver node (for eksempel i algoritmene ID3 og C4.5). Den brukes også i feature selection, dataanalyse og andre maskinlæringsoppgaver der man ønsker å vurdere hvor mye en attributt bidrar til å forklare Y.

Begrensninger: IG kan være skjev mot attributter med mange verdier. For å dempe denne skjevheten brukes ofte alternativer som gain ratio eller andre mål som Gini-impurity, spesielt ved håndtering av kontinuerlige variabler eller store sett av attributter.