TAC: Von der Belohnungsanpassung zur Belohnungslernen – neue Erkenntnisse

Reinforcement‑Learning‑Experten stehen vor einer zentralen Herausforderung: die Belohnungsfunktion muss exakt das gewünschte Ziel widerspiegeln. Das neue arXiv‑Paper zeigt, wie der Trajectory Alignment Coefficient (TAC) dabei helfen kann, die Gewichtung der Belohnungsparameter zu optimieren.

In einer Studie mit Lunar‑Lander‑Praktikern wurde TAC als Feedback‑Metrik eingesetzt. Die Ergebnisse sind eindeutig: Teilnehmer, die TAC nutzten, entwickelten leistungsfähigere Belohnungsmodelle und fühlten sich weniger überfordert als bei herkömmlicher Abstimmung ohne TAC. Dennoch bleibt die manuelle Gestaltung von Belohnungen zeitaufwendig.

Um diesem Problem entgegenzuwirken, schlägt das Team Soft‑TAC vor – eine differenzierbare Approximation des TAC, die als Verlustfunktion für das Training von Belohnungsmodellen aus menschlichen Präferenzdaten dient. In Gran‑Turismo‑7 zeigte sich, dass Modelle, die mit Soft‑TAC trainiert wurden, klarere, auf Präferenzen abgestimmte Verhaltensweisen entwickelten als solche, die mit herkömmlichem Cross‑Entropy‑Loss trainiert wurden.

Die Arbeit demonstriert, dass TAC nicht nur als Analysewerkzeug, sondern auch als Lernziel für Belohnungsmodelle fungieren kann, was die Entwicklung effizienterer Reinforcement‑Learning‑Algorithmen vorantreibt.