Obj-Disco: Automatisches Aufdecken versteckter Ziele in Sprachmodellen

Ein neues Verfahren namens Obj‑Disco ermöglicht es, die verborgenen Motivationen hinter den Belohnungsfunktionen von großen Sprachmodellen (LLMs) transparent zu machen. Durch die Zerlegung komplexer Reward‑Signale in eine kompakte, gewichtete Kombination von leicht verständlichen, menschlich formulierten Zielen wird das Risiko von Missalignment und Reward‑Hacking deutlich reduziert.

Der Ansatz nutzt einen iterativen, gierigen Algorithmus, der das Verhalten des Modells an verschiedenen Trainingsstufen analysiert. Auf dieser Basis werden potenzielle Ziele identifiziert und validiert, die die verbleibende Belohnung am besten erklären. In umfangreichen Tests über unterschiedliche Aufgaben, Modellgrößen und Alignment‑Algorithmen zeigte sich, dass Obj‑Disco mehr als 90 % des Belohnungsverhaltens zuverlässig erfasst – ein Ergebnis, das auch durch menschliche Bewertungen bestätigt wurde.

Ein besonders aufschlussreicher Fallstudienbericht demonstriert, wie Obj‑Disco latente, unerwünschte Anreize aufdecken kann, die gleichzeitig mit den beabsichtigten Verhaltensweisen entstehen. Damit liefert die Methode ein entscheidendes Werkzeug, um die impliziten Ziele in LLM‑Alignment zu identifizieren und damit die Entwicklung von KI-Systemen transparenter und sicherer zu gestalten.