Neues Scaffold-Reasoning-Framework verbessert Code‑Debugging von LLMs

In jüngsten Studien haben große Sprachmodelle (LLMs) beeindruckende Problemlösungsfähigkeiten gezeigt, doch die Frage, wie man die einzelnen Denkschritte so gestaltet, dass sie sowohl komplex genug als auch rechnerisch effizient sind, bleibt ungelöst.

Forscher greifen zunehmend auf psychologische Theorien zurück, um die kognitiven Pfade zu optimieren. Dabei werden die endgültigen Ausgaben eines LLMs als „System 1“ und die Zwischenschritte als „System 2“ klassifiziert. Ein detailliertes Verständnis von System 2 fehlt jedoch bislang.

Zur Lücke bietet das neue Scaffold‑Reasoning‑Framework einen psychologisch fundierten Ansatz für das Debugging von Code. Es besteht aus drei Strömen: dem Scaffold‑Stream, der Referenzcode aufbaut; dem Analytic‑Stream, der Fehler im vorhandenen Code analysiert; und dem Integration‑Stream, der die beiden Ergebnisse zusammenführt.

In Tests auf der DebugBench erreichte das Modell eine Passrate von 88,91 % und benötigte durchschnittlich 5,36 Sekunden pro Problem. Damit übertrifft es andere Reasoning‑Ansätze hinsichtlich Genauigkeit und Effizienz bei verschiedenen LLM‑Architekturen.

Zusätzliche Analysen zeigen, welche kognitiven Pfade bei unterschiedlichen Schwierigkeitsgraden und Bug‑Typen besonders wirksam sind und bestätigen, dass das Scaffold‑Reasoning‑Framework die menschlichen Denkprozesse nachahmt.