LLMs meistern Verhandlungen: Lernen mit verifizierbaren Belohnungen

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben gezeigt, dass sie als autonome Interaktionsagenten eingesetzt werden können. In der Praxis stoßen sie jedoch häufig an Grenzen, wenn es um strategische Spiele mit unvollständiger Information geht – ein klassisches Beispiel ist die bilaterale Preisverhandlung.

In einer neuen Studie wird untersucht, ob Reinforcement Learning aus verifizierbaren Belohnungen (RLVR) LLMs effektiv dazu bringen kann, zu verhandeln. Dazu wurde ein Rahmenwerk entwickelt, das einen mittelgroßen Käuferagenten gegen einen regulierten LLM-Verkäufer auf einer breiten Produktpalette trainiert. Die Belohnungen basieren direkt auf der Maximierung des wirtschaftlichen Surplus und der strikten Einhaltung privater Budgetbeschränkungen.

Das Training führt zu einer vierphasigen strategischen Entwicklung: zunächst ein naiver Verhandlungsansatz, gefolgt von aggressiven Startpreisen, einem Deadlock-Abschnitt und schließlich hochentwickelten Überzeugungsfähigkeiten. Ein 30‑Billionen‑Parameter-Agent übertrifft damit führende Modelle, die zehnmal so groß sind, bei der Gewinnmaximierung erheblich.

Darüber hinaus zeigt der Agent eine robuste Generalisierung: Er bleibt auch gegen stärkere, während des Trainings nicht begegnete Gegenparteien effektiv und kann selbst bei feindlichen, adversarialen Verkäuferpersönlichkeiten erfolgreich verhandeln.