Adaptive Symmetrisation der KL-Divergenz: Neue Methode für Modelle

Ein neues Papier auf arXiv (2511.11159v1) präsentiert einen Ansatz zur symmetrischen Minimierung der Jeffreys‑Divergenz, die die klassische asymmetrische KL‑Divergenz ergänzt.

In vielen ML‑Aufgaben, von der Dichteschätzung bis zur Bildgenerierung, wird häufig die Vorwärts‑KL minimiert, weil sie leicht zu berechnen ist. Ihre Asymmetrie kann jedoch wichtige Eigenschaften der Zielverteilung vernachlässigen.

Der vorgestellte Ansatz nutzt ein Proxy‑Modell, das nicht nur die Daten abbildet, sondern aktiv die Optimierung der Jeffreys‑Divergenz des Hauptmodells unterstützt. Durch eine konstrained Optimierung werden die Prioritäten der Modelle während des Trainings dynamisch angepasst.

Die Autoren demonstrieren, wie die Kombination von Normalizing Flows und Energy‑Based Models unter diesem Rahmen Vorteile in Density‑Estimation, Image‑Generation und Simulation‑based Inference erzielt.

Der neue Algorithmus bietet damit eine praktikable Alternative zu min‑max‑ oder adversarial‑Methoden und ermöglicht eine robuste, symmetrische Divergenzminimierung aus Stichproben.