Meta-Probabilistisches Modellieren: Lernalgorithmus für generative Strukturen

Probabilistische Graphische Modelle entdecken latente Strukturen, doch ihre Wirksamkeit hängt stark von gut spezifizierten Modellen ab. Die Auswahl solcher Modelle gestaltet sich in der Praxis oft schwierig und erfordert wiederholte Überprüfung und Revision durch Versuch und Irrtum.

Um dieses Problem zu adressieren, stellen die Autoren das Konzept des meta-probabilistischen Modellierens (MPM) vor – ein Meta-Lernverfahren, das die Struktur generativer Modelle direkt aus mehreren verwandten Datensätzen lernt. MPM nutzt eine hierarchische Architektur, bei der globale Modellspezifikationen über die Datensätze hinweg geteilt werden, während lokale Parameter datenspezifisch bleiben.

Für das Lernen und die Inferenz wird ein tractables VAE-inspiriertes Surrogatziel vorgeschlagen, das durch bi‑level Optimierung optimiert wird: lokale Variablen werden analytisch über Koordinatenaufstieg aktualisiert, globale Parameter werden mit Gradientenmethoden trainiert. In Experimenten mit objektzentrierten Bildmodellen und sequenziellen Textmodellen zeigt MPM, dass es generative Modelle an die Daten anpasst und gleichzeitig sinnvolle latente Repräsentationen zurückgewinnt.