Riemannische Bayessche Inferenz reduziert Memorisation in generativen Modellen

Moderne generative Modelle können beeindruckend realistische Bilder erzeugen, doch die Balance zwischen Auswendiglernen und Generalisierung bleibt ein zentrales Problem. In einer neuen Studie wird dieses Dilemma aus bayesscher Sicht angegangen, indem der Parameterraum von Flow‑Matching‑ und Diffusionsmodellen gezielt untersucht wird.

Der Ansatz nutzt einen prädiktiven Posterior, der die Varianz der Datenverteilung besser erfasst. Durch die Einbeziehung einer Riemannischen Metrik wird die Geometrie des Verlustes explizit berücksichtigt, sodass ein flexibler approximativer Posterior entsteht, der sich an die lokale Struktur des Verlustlandschapes anpasst.

Ergebnisse zeigen, dass generative Modelle, die mit dieser Methode abgetastet werden, dem Originalmodell sehr ähnlich bleiben, jedoch deutlich weniger Memorisation aufweisen. Die empirischen Tests bestätigen, dass die Generalisierungsfähigkeit erhalten bleibt, während die Gefahr des Auswendiglernens reduziert wird.

Die Autoren liefern zudem eine theoretische Analyse, die die beobachteten Effekte erklärt. Insgesamt verdeutlicht die Arbeit, wie die Berücksichtigung der Verlustgeometrie die effiziente Nutzung des Parameterraums selbst bei hochdimensionalen, komplexen Modellen ermöglicht.