LLM‑gestützte Prompted Policy Search revolutioniert Reinforcement Learning

Reinforcement Learning (RL) hat sich lange Zeit auf reine Zahlenwerte als Belohnung beschränkt, wodurch die reichhaltige semantische Information, die in vielen realen Aufgaben vorhanden ist, ungenutzt bleibt. Menschen hingegen lernen effizient, indem sie numerisches Feedback mit Sprache, Vorwissen und gesundem Menschenverstand kombinieren. Prompted Policy Search (ProPS) nutzt genau diese Idee: Ein großes Sprachmodell steht im Mittelpunkt des Optimierungsprozesses und schlägt direkt neue Politikupdates vor, die sowohl die numerische Belohnung als auch natürliche Sprachangaben berücksichtigen.

Die Autoren zeigen, dass Sprachmodelle in der Lage sind, numerische Optimierungen im Kontext durchzuführen, und dass die Einbindung semantischer Signale – wie Zielbeschreibungen, Domänenwissen und strategische Hinweise – zu gezielterer Exploration und einer höheren Sample‑Effizienz führt. In einer umfangreichen Evaluation mit fünfzehn Gymnasium‑Aufgaben, die klassische Steuerung, Atari‑Spiele und MuJoCo‑Umgebungen umfassen, übertrifft ProPS sieben etablierte RL‑Algorithmen (z. B. PPO, SAC, TRPO) bei acht der Aufgaben und erzielt besonders deutliche Verbesserungen, wenn Domänenwissen bereitgestellt wird. Diese Ergebnisse unterstreichen das Potenzial, numerische und semantische Elemente zu vereinen, um RL‑Modelle transparenter, generalisierbarer und menschenorientierter zu gestalten.