SupChain-Bench: LLMs auf die Probe gestellt – Benchmark für reale Lieferketten

Forscher haben ein neues Benchmark namens SupChain-Bench vorgestellt, das die Leistungsfähigkeit großer Sprachmodelle (LLMs) im Bereich der realen Lieferkettenverwaltung systematisch prüft.

Während LLMs bereits beeindruckende Fortschritte im komplexen Denken und bei der Werkzeugbasierten Entscheidungsfindung gezeigt haben, stellen sich bei Lieferkettenprozessen besondere Anforderungen: die Modelle müssen über lange Zeiträume hinweg mehrere Schritte zuverlässig orchestrieren und dabei auf fachspezifische Standardarbeitsanweisungen (SOPs) zurückgreifen.

SupChain-Bench kombiniert zwei zentrale Testdimensionen: Erstens das Fachwissen zu Lieferketten, und zweitens die Fähigkeit, über viele Schritte hinweg Werkzeuge einzusetzen, wie es in realen Abläufen nötig ist. Die ersten Experimente zeigen, dass aktuelle LLMs noch erhebliche Lücken in der Ausführungszuverlässigkeit aufweisen.

Um diese Schwächen zu adressieren, präsentiert das Team zudem SupChain-ReAct – ein Framework ohne feste SOPs, das eigenständig ausführbare Verfahren für den Werkzeuggebrauch generiert. In Tests erzielt SupChain-ReAct die stärkste und konsistenteste Leistung beim Tool‑Calling.

Die Arbeit liefert damit einen fundierten Maßstab, um die Zuverlässigkeit von LLM‑basierten Agenten in operativen Lieferketten zu untersuchen, und macht deutlich, dass noch viel Raum für Verbesserungen besteht.