Neues Verfahren: Swap‑Guided Preference Learning verbessert personalisierte RLHF

In der Welt der künstlichen Intelligenz gewinnt die Ausrichtung von Modellen an menschlichen Werten immer mehr an Bedeutung. Das neu veröffentlichte Verfahren „Swap‑Guided Preference Learning“ (SPL) verspricht, die bisherige Standardmethode des Reinforcement Learning from Human Feedback (RLHF) zu revolutionieren, indem es individuelle Nutzerpräferenzen besser berücksichtigt.

Traditionelles RLHF setzt auf einen einzigen, universellen Belohnungswert, was die Vielfalt menschlicher Vorlieben ignoriert. Variational Preference Learning (VPL) hat versucht, dieses Problem zu lösen, indem es benutzerspezifische latente Variablen einführt. Doch VPL leidet häufig unter dem Phänomen des „posterior collapse“, bei dem die latenten Variablen ignoriert werden und das Modell wieder zu einem einheitlichen Belohnungsmodell zurückkehrt. Dieses Problem tritt besonders bei knappen Präferenzdaten und sehr ausdrucksstarken Decodern auf.

SPL begegnet diesem Hindernis, indem es fiktive „Swap‑Annotatoren“ nutzt und deren spiegelnde Präferenzstruktur als Leitfaden für den Encoder einsetzt. Das Verfahren kombiniert drei innovative Komponenten: eine swap‑guided Basisregularisierung, die Preferential Inverse Autoregressive Flow (P‑IAF) und adaptive latente Konditionierung. In umfangreichen Experimenten konnte gezeigt werden, dass SPL das Posterior‑Collapse‑Problem reduziert, die individuellen latenten Repräsentationen stärkt und die Vorhersagegenauigkeit der Präferenzen deutlich verbessert.

Die Entwickler haben sowohl den Code als auch die Datensätze öffentlich zugänglich gemacht. Interessierte können die Implementierung unter https://github.com/cobang0111/SPL herunterladen und selbst testen, wie SPL die Personalisierung von KI-Systemen vorantreibt.