Kontekstimallit

Kontekstimallit ovat tilastollisia tai koneoppimismalleja, jotka käyttävät kontekstuaalista tietoa ennusteiden tai päätelmien tukemiseksi. Ne ottavat huomioon ympäröivän tiedon sekä aikaisemmat havainnot, jolloin mallit voivat tuottaa todennäköisyyksiä tai luokituksia, jotka ovat riippuvaisia kontekstista.

Kontekstin huomioon ottamisen keinoja ovat muun muassa kontekstuaaliset ominaisuudet (kuten aika, paikka, käyttäjäprofiili) sekä menetelmät, joilla konteksti sisällytetään malliin. Yleisiä lähestymistapoja ovat kontekstin ikkunamallit, hierarkkiset mallit sekä neuroverkkopohjaiset rakenteet, kuten huomiointimekanismit, jotka painottavat tiettyjä aiempia osia syötteessä.

Käyttökohteita ovat luonnollisen kielen käsittely (NLP), puheentunnistus, koneellinen käännös, suositusjärjestelmät sekä aikasarjaennusteet, joissa ulkoinen konteksti parantaa ennustettavuutta ja tuloksia.

Keskeisiä huomioita ovat datan keräämisen yksityisyys ja eettisyys, kontekstin muuttuvuus eli drift, tulkittavuus sekä laskennallinen kustannus. Arviointi perustuu kontekstin huomioivan mallin suorituskykyyn, esimerkiksi tarkkuuteen, mallin log-todennäköisyyteen tai perplexityyn sekä kontekstikohtaisiin laadun mittauksiin.

Historia ja yhteydet: kontekstin huomiointi juontaa juurensa varhaisiin tilastollisiin malleihin ja Markov-ketjuihin, ja on nykyisin kehittynyt syviin neuroverkkoihin sekä suuriin kielimalleihin.