Diffusionsmodell

Ein Diffusionsmodell, oder Diffusion Model, ist eine Klasse generativer Wahrscheinlichkeitsmodelle, die darauf abzielt, aus Zufallsrauschen realistische Daten zu erzeugen. Es basiert auf einem diffusionsartigen Prozess, bei dem schrittweise Rauschen zu einem realen Datensatz hinzugefügt wird, und einem Lernmodell, das diesen Prozess Schritt für Schritt umkehrt, um saubere Beispiele zu rekonstruieren.

Im Forwardprozess wird in vielen kleinen Schritten Rauschen zu den Daten hinzugefügt. Der Reverseprozess, parametrisiert durch ein neuronales Netz, lernt, das verrauschte Bild schrittweise zu entrauschen. Die Trainingsziele basieren meist auf der Variationalen Untergrenze oder auf dem Score-Matching, das das Modell dazu anleitet, die wahre Rauschladung zu schätzen.

Für die Generierung beginnt man mit Zufallsrauschen und wendet den gelernten Reverseprozess in mehreren Sequenzen an, bis ein neues, realistisches Exemplar entsteht. Continuous-Time-Varianten verwenden SDEs oder Pfadintegrale. Beliebte Architekturen nennen sich DDPM (Denoising Diffusion Probabilistic Models) und diskretisierte Varianten wie DDIM, die schnellere Abtastung ermöglichen.

Zudem gibt es konditionierte Diffusionsmodelle, die Texte, Bilder oder andere Bedingungen nutzen, um zielgerichtete Ausgaben zu erzeugen. Techniken wie classifier-guidance oder classifier-free guidance steuern die Generierung. Diffusionsmodelle haben sich insbesondere bei Bild- und Audiogenerierung durch hohe Qualität und Vielfalt ausgezeichnet, finden aber auch Anwendungen in Inpainting, Superauflösung und Seq2Seq-Aufgaben.

Zu den Vorteilen gehören Stabilität im Training und hochwertige Proben. Nachteile sind hoher Rechenaufwand und lange Abtastzeiten, insbesondere bei großen Modellen. Forschungen zielen auf effizientere Architektur, beschleunigte Abtastung und bessere Controllability. Die Bewertung erfolgt häufig mit Metriken wie Fréchet Inception Distance (FID) und menschlicher Beurteilung.