diffuusiomallit

Diffuusiomallit ovat generatiivisia malleja, jotka oppivat tuottamaan uutta dataa kohinan poistamisen kautta. Ne perustuvat forward- ja reverse-prosessien yhdistelmään: alussa data kohinataan useissa vaiheissa, sitten malli oppii palauttamaan kohinan takaisin puhtaaksi dataksi. Kun malli on oppinut tämän denoisoivan prosessin, sitä voidaan käyttää uusien näytteiden luomiseen aloittamalla puhtaasta satunnaisesta kohinasta.

Forward-prosessissa kohina lisätään asteittain, tyypillisesti Gaussian-kohinan muodossa. Lopullinen tila on suureksi osaksi kohinainen. Koulutuksessa malli pyrkii oppimaan reverse-prosessin parametrit p_theta(x_{t-1}|x_t) tai ennustamaan alkuperäisen x_0:n tilan x_t:stä. Opetusvaiheessa hyödynnetään usein tiivistettyä variational-lower boundia tai denoising-score matching -menetelmiä. Verkkojen arkkitehtuuri on usein U-Net-pohjainen, ja ne saavat syötteenä kohinan tason sekä nykyisen tilan x_t ja mahdolliset ehdollistajat (esim. teksti). Malli ennustaa kohinan ε_theta(x_t,t) tai suoraan x_0:n, josta reverse-prosessi muodostetaan.

Konditiointi ja nopea näytteenotto

Monet diffuusiomallit voidaan tehdä ehdollisiksi esimerkiksi tekstin, kuvien tai muiden modaliteettien perusteella. Käytössä ovat ohjaukselliset menetelmät kuten classifier guidance tai classifier-free guidance, jotka suuntaavat generaation haluttuun tulokseen. Perinteinen näytteenottosarja vaatii usein satoja askelia, mutta nopeammat menetelmät kuten DDIM voivat tuottaa kelvollisia tuloksia pienemmällä määrällä askeleita.

Sovellukset ja haasteet

Diffuusiomallit ovat johtaneet edistysaskeliin kuvien, videoiden ja äänen generoinnissa sekä inpaintingin ja super-resolutionin kaltaisissa tehtävissä. Esimerkkejä ovat Stable Diffusion ja vastaavat avoimet tai kaupalliset mallit. Haasteisiin kuuluvat laskennallinen kustannus, datan laatu ja monimuotoisuus sekä väärinkäytön riskit ja eettiset kysymykset. Tulevaisuudessa korostuvat entistä nopeammat näytteet, parempi ohjaus ja monialaisten multimodaalisten mallien kehittäminen.