ORACLE: Verbessert LLM-Logik durch symbolische Schritt-für-Schritt-Validierung

Ein neues Framework namens ORACLE, vorgestellt auf arXiv (2603.21140v1), verspricht, die Fähigkeit großer Sprachmodelle (LLMs) zum logischen Denken deutlich zu steigern. Durch die Kombination von generativen Sprachmodellen mit symbolischer Überprüfung werden synthetische Mehrschritt‑Daten erzeugt, die jedes Zwischenschritt‑Ergebnis validieren.

Derzeit generieren viele Ansätze synthetische Lösungswege und filtern sie lediglich nach der Richtigkeit der Endantwort. Dabei bleiben Fehler in den Zwischenschritten unentdeckt. Code‑basierte Validierungen funktionieren nur bei Programmier‑ oder Rechenaufgaben, während symbolische Engines einen vollständig strukturierten Kontext benötigen – Voraussetzungen, die bei natürlichen Sprachaufgaben mit mehrdeutigen oder unvollständigen Informationen oft nicht gegeben sind.

ORACLE löst dieses Problem, indem es die Stärken von LLMs nutzt, um schrittweise Argumentationsketten zu erzeugen, und anschließend einen symbolischen Prüfer einsetzt, der jeden Zwischenschritt auf logische Konsistenz hin überprüft. Ein einheitliches Prompt‑Template fördert modulare, nachvollziehbare Ketten, sodass die Validierung auf jeder Ebene möglich ist.

In Tests über sechs logische und faktenbasierte Aufgaben zeigte ORACLE eine deutlich höhere Datenqualität und damit verbesserte die Leistung der LLMs im logischen Denken. Das Verfahren eröffnet neue Möglichkeiten für die Erstellung zuverlässiger Trainingsdaten in Bereichen, in denen bisher nur unzuverlässige Zwischenschritte verfügbar waren.