Neues Benchmark prüft Rationalität großer Sprachmodelle

In der Welt der künstlichen Intelligenz haben große Sprachmodelle (LLMs) in den letzten Jahren enorme Fortschritte erzielt und gelten inzwischen als ein vielversprechender Schritt in Richtung künstlicher Allgemeinintelligenz. Durch ihre menschenähnlichen Fähigkeiten werden sie in vielen Bereichen als Assistenten eingesetzt, doch damit einher geht die Frage, ob und unter welchen Bedingungen LLMs wirklich wie echte Menschen denken und handeln.

Rationalität – sowohl im theoretischen Denken als auch im praktischen Handeln – ist ein zentrales Kriterium, um menschliches Verhalten zu bewerten. Um diese entscheidende Eigenschaft systematisch zu untersuchen, hat ein Forschungsteam das erste Benchmark entwickelt, das die umfassende Rationalität von LLMs über zahlreiche Domänen hinweg bewertet.

Das neue Benchmark-Tool ist benutzerfreundlich gestaltet und liefert umfangreiche experimentelle Ergebnisse sowie tiefgehende Analysen. So wird deutlich, wo LLMs mit der idealisierten menschlichen Rationalität übereinstimmen und wo sie abweichen. Diese Erkenntnisse bieten Entwicklern und Anwendern wertvolle Orientierungshilfen, um die Stärken und Grenzen von Sprachmodellen besser zu verstehen und gezielt zu nutzen.