Neue Studie prüft komplexe Logik von Sprachmodellen über Black-Box-Interaktion

Eine neue Untersuchung aus dem arXiv-Repository präsentiert ein innovatives Verfahren, um die Denkfähigkeit großer Sprachmodelle (LLMs) in interaktiven, unbekannten Umgebungen zu testen. Traditionelle Aufgaben bewerten deduktives, induktives und abductives Denken getrennt, während die reale Welt ein integriertes Vorgehen erfordert. Das neue Paradigma, genannt „Black‑Box‑Interaktion“, fordert die Modelle auf, eine verborgene Funktion zu entschlüsseln, indem sie gezielte Eingaben machen und die daraus resultierenden Ausgaben analysieren.

Zur Umsetzung wurde der Benchmark „Oracle“ entwickelt, der 96 Black‑Box‑Aufgaben in sechs unterschiedlichen Typen umfasst. Neunzehn moderne LLMs wurden getestet. Das Modell „o3“ belegte in fünf der sechs Aufgaben die Spitzenposition und erzielte bei den einfacheren Black‑Boxen mehr als 70 % Genauigkeit. Bei den anspruchsvolleren Aufgaben fiel die durchschnittliche Leistung jedoch unter 40 %. Die Analyse deutet darauf hin, dass alle getesteten Modelle Schwierigkeiten haben, hochrangige Planungsfähigkeiten zu entwickeln, die effiziente und adaptive Explorationsstrategien für die Hypothesenverfeinerung ermöglichen.