Streamingprosessit

Streamingprosessit tarkoittavat järjestelmien toimintaketjuja, joissa dataa tai mediaa siirretään ja käsitellään reaaliaikaisesti tai lähes reaaliajassa. Data-striimaus käsittelee jatkuvaa tapahtumavirtaa, kuten sensoritietoja, käyttäjätoimintoja tai lokitietoja; media-striimaus taas liittyy videon ja äänen toimitukseen verkon yli. Keskeisiä piirteitä ovat alhainen viive, korkeahkö läpivirta ja kyky käsitellä tapahtumia jatkuvasti ilman suuria taukoja.

Datan striimaus -prosessi rakentuu tuottajista, välittäjistä ja kuluttajista. Virta kulkee viestinvälitysjärjestelmään (esim. Apache Kafka, RabbitMQ), ja sitä käsitellään striimaustyökaluilla kuten Flink, Spark Structured Streaming tai Beam. Tavoitteena on reaaliaikainen analytiikka, tapahtumalähtöinen toiminta sekä mahdollisuus säilyttää tila ja tapahtumien oikea järjestys. Järjestelmätyypit ja semantiikat (esim. at-least-once, exactly-once) vaikuttavat luotettavuuteen ja virheenkäsittelyyn.

Media streaming -prosessi kattaa videon ja äänen toimituksen verkon yli. Siihen kuuluu sisällön enkoodaus, pakkaaminen ja suojaus (DRM), sekä toimitus sisällönjakeluverkkojen (CDN) kautta. Sopeutuva bittivirta (adaptive streaming) kuten HLS ja DASH mahdollistaa laadun vaihtelun riippuen verkon kapasiteetista ja laitteen tuesta.

Haasteita ovat viiveen minimointi, läpivirran hallinta, virheiden käsittely sekä tapahtumien järjestys ja myöhästyminen. Seurantaan käytetään mittareita kuten viive, läpäisy ja käytettävissä oleva kapasiteetti, sekä kustannusten hallinta. Käyttökohteita ovat reaaliaikainen analytiikka, hälytykset, petosten havaitseminen sekä live- ja on-demand -sisällön toimitus.