VeriCoT: Neuro-symbolische Chain-of-Thought-Validierung durch logische Checks

In der Forschung zu großen Sprachmodellen (LLMs) hat sich die Chain-of-Thought (CoT)-Methode als leistungsfähiges Werkzeug für mehrstufige Problemlösungen etabliert. Ein zentrales Problem bleibt jedoch die fehlende Möglichkeit, die eigene Logik zuverlässig zu überprüfen. Selbst wenn ein Modell die richtige Antwort liefert, kann die zugrunde liegende Argumentation fehlerhaft sein, was besonders in sicherheitskritischen Anwendungen das Vertrauen erschüttert.

VeriCoT löst dieses Problem, indem es die einzelnen CoT-Schritte in formale Aussagen erster Ordnung überführt. Dabei werden die Voraussetzungen – sei es aus dem ursprünglichen Kontext, aus Allgemeinwissen oder aus vorherigen Schritten – eindeutig identifiziert. Diese symbolische Darstellung ermöglicht es automatisierten Solver‑Systemen, die logische Gültigkeit zu prüfen, während natürliche Sprachvoraussetzungen von Menschen und Maschinen genutzt werden können, um ungestützte oder fehlerhafte Argumentationsschritte aufzudecken.

Experimentelle Ergebnisse auf den Datensätzen ProofWriter, LegalBench und BioASQ zeigen, dass VeriCoT signifikant fehlerhafte Logik erkennt und gleichzeitig ein starkes Indiz für die Richtigkeit der Endantwort liefert. Darüber hinaus wird das Verifikationssignal von VeriCoT für drei weitere Verbesserungsstrategien eingesetzt: (1) Selbstreflexion in Echtzeit, (2) supervised fine‑tuning (SFT) auf VeriCoT‑distillierten Datensätzen und (3) preference fine‑tuning (PFT) mittels direkter Präferenzoptimierung (DPO) mit verifikationsbasierten Paarbelohnungen. Diese Ansätze steigern die Validität und Genauigkeit der LLM‑Antworten nachhaltig.