LemonadeBench: LLMs meistern Wirtschaftssimulation – 70 % der optimalen Gewinne

Mit der Veröffentlichung von LemonadeBench v0.5 stellen Forscher ein neues, schlankes Benchmark‑Set vor, das die wirtschaftliche Intuition, langfristige Planung und Entscheidungsfindung unter Unsicherheit großer Sprachmodelle (LLMs) testet. Das Szenario simuliert ein kleines Limonadenstand‑Unternehmen, bei dem die Modelle tägliche betriebliche Entscheidungen treffen müssen.

Die Aufgaben umfassen die Verwaltung von Vorräten mit Ablaufdaten, die Festlegung von Preisen, die Auswahl der Betriebszeiten und die Maximierung des Gewinns über einen Zeitraum von 30 Tagen. Diese Herausforderungen spiegeln die realen Probleme eines Kleinunternehmens wider und fordern die Modelle dazu auf, sowohl kurzfristige als auch langfristige Strategien zu berücksichtigen.

Alle getesteten Modelle zeigen eine echte wirtschaftliche Handlungsfähigkeit, indem sie Gewinne erzielen. Die Leistung skaliert stark mit der Modellkomplexität: Grundlegende Modelle erwirtschaften nur minimale Gewinne, während hochentwickelte Modelle bis zu 70 % des theoretisch optimalen Gewinns erreichen – ein mehr als zehnfaches Verbesserungspotenzial im Vergleich zu den einfachsten Varianten.

Eine detaillierte Analyse der Geschäftsleistung entlang von sechs Dimensionen offenbart ein konsistentes Muster: Die Modelle optimieren lokal, nicht global. Sie glänzen in bestimmten Bereichen, zeigen jedoch überraschende Schwächen in anderen, was auf gezielte Verbesserungsbereiche für zukünftige LLM-Entwicklungen hinweist.