SignReLU‑Netzwerke ermöglichen exakte Annäherung von Diffusionsmodellen

Ein neues arXiv‑Veröffentlichung beleuchtet die theoretische Basis für die Approximation von Verhältnis‑Funktionalen, die in konditionalen generativen Modellen auftreten. Dabei werden die Ziel‑Dichten als Quotient zweier kernbasierter Randdichten dargestellt – ein zentrales Element bei Diffusions‑generativen Modellen.

Der Ansatz nutzt die Stückweise‑lineare Struktur der SignReLU‑Aktivierung, um diese Quotienten mit tiefen neuronalen Netzen zu approximieren. Unter üblichen Regularitätsannahmen liefert die Arbeit L^p‑Approximationsbeschränkungen und Konvergenzraten, die die Leistungsfähigkeit der Netzwerke quantifizieren.

Speziell für Denoising Diffusion Probabilistic Models (DDPMs) wird ein SignReLU‑basierter Schätzer für den Rückwärtsprozess konstruiert. Die Autoren ermitteln dabei obere Schranken für das überschüssige Kullback‑Leibler‑Risiko zwischen generierten und wahren Datenverteilungen. Diese Schranken werden in Approximation‑ und Estimation‑Fehler zerlegt, was ein klares Bild der Fehlerquellen liefert.

Die Ergebnisse liefern robuste Generalisierungsgarantien für die endliche Stichprobenausbildung von Diffusions‑generativen Modellen. Sie zeigen, dass SignReLU‑Netzwerke nicht nur theoretisch, sondern auch praktisch eine solide Basis für die effiziente und zuverlässige Modellierung von komplexen Wahrscheinlichkeitsverteilungen bieten.