Diffusjonsmodellen

Diffusjonsmodellen er en type generativ modell basert på en stokastisk diffusionsprosess som gradvis ødelegger strukturen i data og deretter rekonstruerer den tilbake til en sannsynlig datafordeling.

Forover-prosessen legger til støy i mange trinn: man starter med x0 og genererer xt ved å tilsette Gaussisk støy med økende intensitet. Den omvendte prosessen læres av et nevralt nettverk som forsøker å fjerne støy og gå fra xt til x_{t-1}. Treningen maksimerer ofte en variational lower bound på log-likelihood eller trenes gjennom å forutsi hvilket støy som ble tilsatt i hvert trinn.

Arkitekturer bruker ofte et nettverk som predikerer støy eller det rene dataet, typisk i en U-net-struktur, med konvolusjonelle eller transformerbaserte komponenter. Støyplanen består av en tidsavhengig sekvens av varians beta_t som bestemmer støyens omfang i hvert trinn. DDPM er et standard eksempel, mens DDIM gir raskere sampling. Score-baserte tilnærminger bruker score-matching og stokastiske differensialligninger.

Bruksområder inkluderer bilde-, lyd- og videogenerering samt 3D-data. Fordeler inkluderer høy kvalitet og stabil trening; utfordringer er lang samplingstid og høy beregningskostnad. Betinget generering og veiledning er mulig, for eksempel classifier guidance eller classifier-free guidance for å styre output.

Historisk har diffusjonsmodellen siden 2020-tallet blitt blant de mest effektive generative modellene og har fått bred anvendelse i både forskning og praksis. De lærer en revers diffusionsprosess og konvergerer mot opprinnelig data når støy fjernes. Sammenlignet med GAN-er kan de ha bedre stabilitet og mangfold, men krever ofte mer beregning per eksempel.