Neue Taxonomie enthüllt die „Psychologie“ großer Rechenmodelle

Wissenschaftler haben eine neue Klassifikation entwickelt, die die inneren Abläufe großer Rechenmodelle (LRMs) aus menschlicher Sicht beleuchtet. Die Taxonomie gliedert die atomaren Denkschritte in fünf Hauptgruppen und 17 Unterkategorien, die sich an bewährten Konzepten der menschlichen Kognition orientieren. Durch diese strukturierte Sichtweise konnten die Forscher ein umfangreiches Datenset mit 277 534 annotierten Schritten zusammenstellen.

Die Analyse dieser Daten hat wichtige Erkenntnisse geliefert: Die häufig eingesetzten „Double‑Check“-Mechanismen, bei denen Modelle nach einer Antwort noch einmal prüfen, sind meist oberflächlich und führen selten zu signifikanten Korrekturen. Stattdessen zeigt sich, dass ein umfassender, mehrstufiger Reflexionsprozess viel wirkungsvoller ist. Diese Einsicht liefert konkrete Handlungsempfehlungen für die Weiterentwicklung von Trainings- und Nachtrainingsverfahren.

Zur automatisierten Annotation wurde das System CAPO vorgestellt. Es nutzt große Sprachmodelle, um die Taxonomie‑Basierten Labels zu generieren. In Experimenten übertraf CAPO die bisherigen Ansätze in Bezug auf Konsistenz mit menschlichen Experten, was eine skalierbare und tiefgreifende Analyse von LRMs aus kognitiver Perspektive ermöglicht.