Studie zeigt: Schrittweise Denkprozesse steigern Code‑LLM‑Genauigkeit

Eine neue Untersuchung von Forschern auf arXiv beleuchtet, wie große Sprachmodelle (LLMs) beim Programmieren explizite Zwischenschritte erzeugen und welche Wirkung diese auf die Ergebnisqualität haben. Die Analyse konzentriert sich auf sechs aktuelle „Thinking‑LLMs“ – DeepSeek‑R1, OpenAI‑o3‑mini, Claude‑3.7‑Sonnet‑Thinking, Gemini‑2.0‑Flash‑Thinking, Gemini‑2.5‑Flash und Qwen‑QwQ – und testet sie an 100 Code‑Generierungsaufgaben unterschiedlicher Schwierigkeitsgrade aus dem BigCodeBench‑Korpus.

Die Forscher haben die Struktur der Denkketten systematisch gemessen, indem sie die Anzahl der Schritte, die Wortzahl der Zwischenerklärungen und die Wirkung von gezielten Schritt‑Budget‑Anpassungen untersucht haben. Anschließend wurden 21 Personen beauftragt, die Modelle anhand von Effizienz, logischer Korrektheit und Vollständigkeit zu bewerten. Die Ergebnisse zeigen, dass gezielte Erhöhungen der Schrittzahl bei bestimmten Modellen und Aufgaben die Lösungsrate deutlich steigern können, während leichte Reduktionen die Erfolgsquote bei Standardaufgaben kaum beeinträchtigen, aber bei schwierigen Problemen häufig zu Fehlern führen.

Ein zentrales Erkenntnisfeld ist die Dominanz von Unvollständigkeit als Fehlerquelle: Modelle lassen bei komplexen Aufgaben häufig wichtige Zwischenschritte aus. Die Studie liefert zudem einen Taxonomie‑Ansatz, um problematische Denkphasen zu klassifizieren, und zeigt, dass die LLMs trotz unterschiedlicher Rechenaufwand‑Einstellungen konsistente logische Strukturen beibehalten und sogar frühere Fehler selbst korrigieren können.

Insgesamt liefert die Arbeit wertvolle Einblicke in die Funktionsweise von „Thinking‑LLMs“ und legt nahe, dass gezielte Steuerung der Schrittzahl ein vielversprechender Ansatz ist, um die Zuverlässigkeit und Transparenz von Code‑Generierungsmodellen zu erhöhen.