Markovprosessit

Markovprosessit ovat stokastisia prosesseja, joilla on Markovin ominaisuus. Tämä ominaisuus tarkoittaa, että tuleva tila riippuu vain nykyisestä tilasta, eikä menneisyydestä. Tällaisia prosesseja käytetään laajasti mallintamaan erilaisia ilmiöitä, kuten fyysisiä järjestelmiä, biologisia prosesseja ja taloudellisia malleja. Markovin ominaisuus tekee prosessien analysoinnista ja ennustamisesta helpompaa, koska menneisyyden yksityiskohtia ei tarvitse ottaa huomioon.

Markovprosessit voidaan jakaa kahteen päätyyppiin: diskreetteihin ja jatkuviin. Diskreeteissä Markovprosessseissa aika etenee askelittain, eli tilanmuutokset tapahtuvat vain tietyin aikavälein. Esimerkiksi kävelymallia, jossa henkilö liikkuu ruudukossa satunnaisesti, voidaan mallintaa diskreettinä Markovprosesssina. Jatkuvissa Markovprosessseissa aika voi kulkea jatkuvasti, ja tilanmuutokset voivat tapahtua milloin tahansa. Esimerkiksi radioaktiivisen hajoamisen mallintaminen on jatkuva Markovprosessi.

Yksinkertaisin Markovprosessi on Martingeel, jossa odotusarvo seuraavalle tilalle, ehdollistettuna menneisyydelle, on yhtä suuri kuin nykyinen tila. Monimutkaisempia Markovprosessseja voidaan kuvata siirtymätodennäköisyysmatriiseilla, jotka määrittelevät todennäköisyyden siirtyä tilasta toiseen. Näiden matriisien avulla voidaan laskea pitkän aikavälin käyttäytymistä ja vakauden ominaisuuksia. Sovelluksia löytyy muun muassa kielimallinnuksesta, osakemarkkinoiden ennustamisesta ja kvanttijärjestelmien dynamiikan tutkimisesta.