Neues RL-Verfahren nutzt Sprachmodell-Beliefs für langfristige Interaktion

In einer wegweisenden Veröffentlichung präsentiert ein Forschungsteam ein neues Reinforcement‑Learning‑Verfahren namens ΔBelief‑RL, das die eigenen internen Überzeugungen eines Sprachmodells nutzt, um Agenten bei der Bewältigung von Unsicherheiten über lange Zeiträume zu unterstützen. Durch die Belohnung von Fortschritten, die sich aus Änderungen der Wahrscheinlichkeit für die Ziellösung ergeben, kann das System Zwischenziele präziser zuordnen und dadurch die Lernleistung deutlich steigern.

Die Methode wurde auf synthetisch generierten Interaktionsdaten trainiert und demonstriert, dass information‑suchende Fähigkeiten, die auf ΔBelief‑Belohnungen beruhen, konsequent bessere Ergebnisse liefern als rein auf Endergebnissen basierende Ansätze. Die erzielten Verbesserungen übertragen sich sogar auf Aufgaben außerhalb des Trainingsdatensatzes, etwa im Kundenservice oder bei personalisierten Empfehlungen.

Ein besonders bemerkenswertes Ergebnis ist die kontinuierliche Leistungssteigerung, wenn die Testinteraktionen über den ursprünglich trainierten Horizont hinaus verlängert werden. Dabei wächst die Interaktionseffizienz, was sich auch in verbesserten Pass@k‑Metriken widerspiegelt. Insgesamt liefert ΔBelief‑RL einen skalierbaren Trainingsansatz, der die Navigation durch Unsicherheit über lange Zeiträume erleichtert, indem er die Zuordnung von Belohnungen zu Zwischenaktionen über intrinsische ΔBelief‑Rekordierungen ermöglicht.