bildefusjon

Bildefusjon er en gruppe teknikker innen bildebehandling og kunstig intelligens som bruker diffusionsprosesser til å skape, rekonstruere eller forbedre bilder. Metoden trekkes ofte fram som en alternativ tilnærming til generative metoder som generative adversarial nettverk, og den brukes i ulike bildeoppgaver som syntese, inpainting og superoppløsning.

I generativ bildefusjon består prosessen av to faser. Først legges støy gradvis til et bilde i en forover- eller fremoverprosess til bildet blir nesten helt tilfeldig. Deretter trenes en modell til å gjenskape bildet ved å fjerne støy i små trinn i en motsatt, bakoverprosess. Læringen skjer ved å optimalisere en sannsynlighetsmodell eller en score-funksjon som beskriver hvordan støy fjernes. Når modellen er trent, kan man generere nye bilder ved å starte fra støy og bruke den bakoverprosessen.

Variantene inkluderer Denoising Diffusion Probabilistic Models og score-baserte modeller, ofte tilpasset spesifikke oppgaver som tekst-til-bilde, inpainting og oppskalering. Fordeler ved bildefusjon inkluderer ofte høy bildekvalitet, stabil trening og god kontroll over genereringen. Begrensninger omfatter høy beregningsbelastning og treg sampling, noe som gjør sanntidsbruk utfordrende på større modeller.

Historisk betyr bildefusjon en betydelig utvikling i området for bildesyntese, med opprinnelse i forskningsarbeider fra midten av 2010-årene og et gjennombrudd i 2020-årene med stadig bredere anvendelser i kunstig intelligens og bildebehandling.