Kleine Sprachmodelle lösen Deduktion durch regelbasierte Logik

Ein neues arXiv‑Veröffentlichung zeigt, dass selbst ein kleines Sprachmodell in der Lage ist, deduktive Aufgaben zu lösen, indem es die zugrunde liegenden Regeln erlernt – nicht nur statistische Muster erkennt. Die Autoren liefern eine detaillierte, mechanistische Analyse der internen Repräsentationen und der damit verbundenen Rechenkreise. Dabei kommt den sogenannten Induktionsköpfen eine zentrale Rolle zu: Sie steuern die Schritte der Regelvollendung und der Regelkettung, die für die notwendige logische Inferenz erforderlich sind. Diese Erkenntnisse eröffnen einen vielversprechenden Weg, die Funktionsweise von Sprachmodellen auf einer tieferen Ebene zu verstehen und gezielt zu verbessern.