Neues Verfahren steigert Tiefen-Generalisierung von Sprachmodellen bei Logikaufgaben

Große Sprachmodelle zeigen beeindruckende Leistungen in vielen Bereichen, doch bei rekursiven Logikaufgaben – also Aufgaben, die verschachtelte Strukturen erfordern – stoßen sie an ihre Grenzen. Während frühere Studien sich auf die Länge von Sequenzen konzentrierten, untersucht diese Arbeit die sogenannte Tiefen‑Generalisierung, also die Fähigkeit, Probleme mit mehr verschachtelten Ebenen zu lösen, als sie im Training gesehen wurden.

Die Untersuchung zeigt, dass Standard‑Transformer bei tieferen Rekursionen deutlich schlechter abschneiden, obwohl sie längere, aber flache Sequenzen problemlos verarbeiten können. Der Grund liegt in der fehlenden stack‑ähnlichen Logik, die nötig ist, um mehrere Ebenen von Abhängigkeiten gleichzeitig zu verfolgen. Dadurch verschlechtert sich die Leistung rasch, je mehr Verschachtelungstiefe das Problem aufweist.

Um dieses Problem zu lösen, wurde ein neues „looped locate‑and‑replace“-Pipeline entwickelt. Dabei werden zwei spezialisierte Modelle eingesetzt: ein Locator, der lösbare Teilausdrücke identifiziert, und ein Replacer, der diese Teile auswertet und gleichzeitig die Gesamtstruktur beibehält. Durch wiederholtes Anwenden dieser beiden Schritte werden komplexe rekursive Aufgaben in handhabbare Teilaufgaben zerlegt.

Die Methode wurde in drei sorgfältig gestalteten Domänen getestet – darunter Boolesche Formeln, arithmetische Ausdrücke und weitere rekursive Logikaufgaben. In allen Fällen zeigte sich eine deutliche Verbesserung der Tiefen‑Generalisierung im Vergleich zu herkömmlichen Transformer‑Modellen. Diese Ergebnisse deuten darauf hin, dass gezielte Architekturanpassungen die Leistungsfähigkeit von Sprachmodellen bei verschachtelten Problemen erheblich steigern können.