Neues Framework IRIS nutzt intrinsische Belohnung zur Bildgenerierung

Die jüngsten Fortschritte im Bereich Reinforcement Learning from Human Feedback (RLHF) haben vor allem bei der Sprachverarbeitung beeindruckende Resultate erzielt. Für die autoregressive Text‑zu‑Bild‑Generierung (T2I) stoßen diese Erfolge jedoch an die Grenze der verfügbaren menschlichen Präferenzdaten. In einer neuen Studie wird gezeigt, dass ein T2I‑Modell ohne externe Belohnungen oder gelabelte Daten lernen kann – und zwar durch die Nutzung interner Signale.

Ein überraschendes Ergebnis ist, dass die Maximierung von Selbstunsicherheit – also das Streben nach Unsicherheit im Modell – die Bildqualität verbessert. Im Gegensatz zu Text‑Generierungsmodellen, bei denen Selbstsicherheit oft vorteilhaft ist, führen niedrige Unsicherheitswerte bei T2I‑Modellen zu einfachen, einheitlichen Bildern, die weniger den menschlichen Vorlieben entsprechen. Diese Erkenntnis bildet die Grundlage für das neue Framework IRIS.

IRIS (Intrinsic Reward Image Synthesis) ist das erste System, das autoregressive T2I‑Modelle mithilfe von Reinforcement Learning ausschließlich mit einer intrinsischen Belohnung optimiert. Die experimentellen Ergebnisse zeigen, dass IRIS die Leistung von Modellen auf einem Niveau hält, das mit externen Belohnungen vergleichbar oder sogar überlegen ist. Damit eröffnet IRIS einen vielversprechenden Weg, die Bildgenerierung effizienter und weniger abhängig von menschlichen Daten zu gestalten.