Tiefe des Denkens als Schwierigkeitsindikator: Neue Lernkurve für LLMs

Eine neue Studie auf arXiv präsentiert einen innovativen Ansatz für das Curriculum‑Learning bei der Ausbildung großer Sprachmodelle (LLMs). Der Kern der Idee ist simpel: Aufgaben, die für Menschen mehr „Tiefe des Denkens“ erfordern, sollten auch für Modelle schwieriger sein.

Um diese Tiefe zu messen, zählen die Autoren die einzelnen Schritte in der Begründung eines Lehrmodells – etwa bei Ketten‑Denken‑Antworten. Diese Schrittzahl wird als „Denkenstiefe“ (DoT) definiert und dient als Schwierigkeits‑Signal.

Das Training erfolgt in einer schrittweisen Reihenfolge von flachen zu tiefen Aufgaben, die nach DoT sortiert sind. Die Autoren beschreiben, wie man diese Reihenfolge ableitet, validiert und in großem Maßstab plant, sodass die Lernkurve effizient skaliert werden kann.

Drei prüfbare Hypothesen werden aufgestellt: (i) DoT korreliert mit herkömmlichen Schwierigkeitsmaßen auf Schlussfolgerungs‑Benchmarks; (ii) DoT‑basierte Curricula übertreffen bei gleichem Budget längs‑ oder von Experten bewertete Curricula; (iii) die Messung bleibt robust über verschiedene Lehrmodelle hinweg, wenn leichte Formatierungs­kontrollen angewendet werden.

Zur Bewertung wird ein Rahmenwerk vorgeschlagen, das mögliche Validitätsbedrohungen – etwa Unterschiede im Lehrstil oder in der Textlänge – berücksichtigt und praktische Gegenmaßnahmen aufzeigt.

Die Arbeit strebt an, Lernkurven zu schaffen, die kognitiv fundiert und interpretierbar sind, um die Trainingsqualität von Modellen, die auf komplexes Denken angewiesen sind, nachhaltig zu verbessern.