Entdeckung verborgener Richtigkeit in LLM‑Kausaler Analyse durch symbolische Verifikation

Moderne Sprachmodelle werden zunehmend für Aufgaben des kausalen Denkens eingesetzt, doch die üblichen Testverfahren prüfen meist nur oberflächliche Übereinstimmungen. Dadurch bleiben echte Fehler oder korrekte, aber anders formulierte Antworten unbemerkt.

Um dieses Problem zu lösen, wurde DoVerifier entwickelt – ein einfacher, symbolischer Prüfer, der überprüft, ob von einem LLM generierte kausale Ausdrücke aus einem vorgegebenen kausalen Graphen unter Anwendung der Regeln der do‑Kalkül und der Wahrscheinlichkeitstheorie abgeleitet werden können.

DoVerifier analysiert die Struktur der Ausdrücke und vergleicht sie mit den zulässigen Ableitungen des Graphen. Auf diese Weise kann das System korrekte Antworten erkennen, die sonst wegen sprachlicher Unterschiede fälschlicherweise als falsch bewertet würden.

Tests an synthetischen Datensätzen sowie an bestehenden kausalen Frage‑Antwort-Benchmarks zeigen, dass DoVerifier die semantische Richtigkeit von LLM‑Antworten deutlich genauer erfasst als herkömmliche Metriken. Damit bietet es eine fundiertere und aussagekräftigere Bewertungsmethode für die kausale Leistungsfähigkeit von Sprachmodellen.