yhteisentropia

Yhteisentropia, englanniksi joint entropy, määrittelee kahden satunnaismuuttujan X ja Y yhteisen epävarmuuden. Diskreettien muuttujien yhteisentropia mittaa, kuinka paljon tietoa tarvittaisiin kuvaamaan sekä X:iä että Y:iä kokonaisuutena. Se kuvaa tilannetta, jossa epävarmuus jaetaan muuttujien välillä.

Diskreettien muuttujien yhteisentropia H(X,Y) määritellään kaavalla H(X,Y) = - ∑_x ∑_y p(x,y) log p(x,y). Logaritmin pohja määrittää yksiköt: base 2 antaa bitit, base e natse. Yhteisentropia on aina ei-negatiivinen, ja se täyttää suhteen H(X,Y) ≥ max{H(X),H(Y)}. Sillä on chain-rule: H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y). Jos X ja Y ovat riippumattomia, H(X,Y) = H(X) + H(Y). Jos Y on määrällisesti funktio X:stä, H(X,Y) = H(X) (koska H(Y|X) = 0).

Jatkuvien muuttujien tapauksessa voidaan määritellä yhteisentropia h(X,Y) käyttämällä tiheysfunktiota f(x,y): h(X,Y) = - ∫∫ f(x,y) log f(x,y) dx dy. Huomataan, että jatkuva yhteisentropia voi olla negatiivinen ja sillä ei ole samanlaisia perusrajoja kuin diskreetillä.

Yhteisentropia liittyy läheisesti toisiinsa mutual informacion I(X;Y) kanssa: I(X;Y) = H(X) + H(Y) − H(X,Y) = H(X) − H(X|Y) = H(Y) − H(Y|X). Tämä mittaa, kuinka paljon tieto X:stä ja Y:stä on yhteistä.

Yhteisentropiaa sovelletaan muun muassa tietojenpakkausta ja viestintää koskevissa konteksteissa sekä redundanssin ja yhteisen rakenteen mittauksessa.