Market-Bench: LLMs im Wirtschaftsspiel – ihre Handelsfähigkeiten werden getestet

Ein neues Benchmarking-Tool namens Market-Bench untersucht, wie gut große Sprachmodelle (LLMs) wirtschaftliche Aufgaben bewältigen können. Dabei wird die Fähigkeit der Modelle gemessen, Ressourcen zu verwalten und in einem simulierten Marktumfeld zu handeln.

Market-Bench nutzt ein konfigurierbares Multi-Agent-Supply-Chain-Modell, in dem LLMs als Einzelhändler fungieren. Sie übernehmen die Beschaffungsphase, indem sie in budgetbeschränkten Auktionen um begrenzte Lagerbestände bieten, und die Vertriebsphase, in der sie Verkaufspreise festlegen, Werbeslogans generieren und diese potenziellen Käufern über ein rollenbasiertes Aufmerksamkeitsmechanismus präsentieren.

Das System zeichnet komplette Handlungsabläufe auf – von Geboten über Preise und Slogans bis hin zu Verkäufen und Bilanzdaten. Diese Daten ermöglichen eine automatische Bewertung anhand ökonomischer, operativer und semantischer Kennzahlen, sodass die Leistung der Modelle objektiv gemessen werden kann.

Bei der Anwendung von 20 offenen und geschlossenen LLM-Agenten zeigte Market-Bench deutliche Leistungsunterschiede. Nur wenige Modelle konnten konstant Kapitalzuwachs erzielen, während die meisten im Break‑Even-Bereich blieben, obwohl ihre semantischen Übereinstimmungen ähnlich waren. Das Benchmarking liefert damit ein reproduzierbares Testfeld, um die Interaktion von LLMs in wettbewerbsintensiven Märkten zu untersuchen.