Strukturierte Vorlagen steigern die Problemlösungskompetenz großer Sprachmodelle

In einer neuen Studie von arXiv wird gezeigt, dass strukturierte, prozedurale Denkweisen für große Sprachmodelle (LLMs) besonders im mathematischen Bereich unverzichtbar sind. Trotz Fortschritten durch Post-Training-Methoden gelingt es den Modellen bislang nicht, tiefgreifende logische Abläufe bei komplexen Aufgaben zu erfassen.

Die Autoren identifizieren eine bislang unbekannte „Scaling Law by Difficulty“, die eine U-förmige Leistungskurve in Bezug auf die Komplexität der Trainingsdaten aufzeigt. Zu wenig schwierige Daten behindern die Abstraktion, während stark herausfordernde Aufgaben die Fähigkeit zum logischen Schließen deutlich verbessern.

Auf Basis dieser Erkenntnis wird das Structured Solution Template (SST)-Framework vorgestellt. Es kombiniert drei zentrale Elemente: (1) ein Fine‑Tuning mit strukturierten Lösungs‑Template‑Ketten und dynamisch gewichteten Verlustfunktionen, die das prozedurale Denken priorisieren; (2) die Einbettung von Lösungs‑Templates in die Prompt‑Phase als kognitive Stützstrukturen; (3) ein integriertes Curriculum‑Fine‑Tuning, das das Modell explizit dazu anleitet, sich selbst zu planen, auszuführen und zu korrigieren.

Experimentelle Ergebnisse auf den Datensätzen GSM8K, AIME24 und dem neuen Dynamic En Benchmark zeigen, dass SST die Genauigkeit und Effizienz signifikant steigert – besonders bei den anspruchsvollsten Aufgaben. Die Studie legt damit einen klaren Weg auf, wie LLMs durch gezielte Strukturierung ihrer Lernumgebung ihre Problemlösungsfähigkeiten verbessern können.