Markovprosessi

Markovprosessi on stokastinen prosessi, jossa tuleva tila riippuu vain nykyisestä tilasta, ei siitä, miten tähän tilaan on päädytty. Tätä ominaisuutta kutsutaan Markovin ominaisuudeksi tai muistittomuudeksi. Yksinkertaisesti sanottuna, menneisyydellä ei ole väliä, jos tunnemme nykyhetken.

Prosessi etenee diskreetteinä aikaväleinä tai jatkuvasti. Diskreettejä aikavälejä käyttävää prosessia kutsutaan Markovin ketjuksi. Tässä ketjussa on joukko tiloja, ja tilojen välillä liikkumista kuvataan todennäköisyyksillä, joita kutsutaan siirtymätodennäköisyyksiksi. Siirtymätodennäköisyys määrittää kuinka todennäköisesti prosessi siirtyy tilasta A tilaan B seuraavassa aikavälissä.

Jatkuva-aikainen Markovprosessi toimii samalla periaatteella, mutta aikavälit ovat jatkuvia. Markovprosessien sovelluksia löytyy monilta aloilta, kuten fysiikasta, biologiasta, taloustieteestä, tietojenkäsittelytieteestä ja tekoälystä. Niitä käytetään esimerkiksi mallintamaan satunnaisia tapahtumia, ennustamaan tulevia tiloja ja ymmärtämään monimutkaisten järjestelmien käyttäytymistä. Esimerkkejä sovelluksista ovat sääennustukset, osakekurssien mallinnus ja tekstin generointi.