LLMs auf dem Weg zur Superintelligenz: Benchmark betont Tool-Calls

In einer kürzlich veröffentlichten Studie auf arXiv (2602.21061v1) präsentiert das Diligent Learner Framework einen vielversprechenden Ansatz, wie große Sprachmodelle (LLMs) Superintelligenz erreichen könnten. Der Schlüssel liegt laut den Autoren in der Fähigkeit, während der Testphase gezielt nach Lösungen zu suchen – vorausgesetzt, die Erfolgswahrscheinlichkeit pro Rechenschritt, bezeichnet als γ, ist ausreichend hoch.

Um γ zu messen, haben die Forscher ein neues Benchmark entwickelt, das logische Inferenz außerhalb des Trainingsdatensatzes testet. Dabei werden Aufgaben aus der GF(2)-Zirkuitrekonstruktion eingesetzt, die mit jedem Rechenschritt komplexer werden. Aus informationstheoretischer Sicht ist es nahezu unmöglich, diese Aufgaben zuverlässig zu lösen, wenn das Modell nicht sämtliche verfügbaren Informationen sorgfältig integriert.

Die Ergebnisse zeigen, dass bei kleineren LLMs die γ‑Werte mit zunehmender Tiefe superlinear abnehmen, während aktuelle Spitzenmodelle eine teilweise Robustheit aufweisen. Entscheidend für erfolgreiches, skalierbares Denken ist jedoch die präzise Ausführung von Tool‑Calls. Die Studie hebt damit die Gestaltung von Werkzeugen als kritische Fähigkeit hervor, die LLMs benötigen, um die im Diligent Learner Framework beschriebene allgemeine Superintelligenz zu realisieren.