LogicGraph: Benchmark für Mehrweg‑logisches Denken mit neuro‑symbolischer Analyse

In der Welt der großen Sprachmodelle (LLMs) liegt der Fokus bislang vor allem auf konvergenter Logik: Modelle sollen einen einzigen, korrekten Beweis liefern. Doch viele reale Fragestellungen erlauben zahlreiche gültige Ableitungen, die ein Modell erkunden muss, anstatt sich frühzeitig auf einen Pfad festzulegen.

Mit LogicGraph eröffnet ein neues Benchmark-Framework die Möglichkeit, diese Mehrweg‑Logik systematisch zu testen. Das System kombiniert neuro‑symbolische Techniken – rückwärtsgerichtete Logikgenerierung und semantische Instanziierung – um Aufgaben zu erzeugen, die tiefgreifende, mehrgleisige Argumentationswege sowie logische Ablenkungen enthalten. Jede Aufgabe wird von einem Solver verifiziert und mit einer vollständigen Sammlung minimaler Beweise geliefert.

Ein weiteres Highlight ist ein referenzloses Bewertungssystem, das sowohl konvergente als auch divergente Leistungen misst. Durch umfangreiche Experimente mit führenden Sprachmodellen zeigte sich, dass diese Modelle häufig zu früh einen einzigen Pfad wählen und alternative Wege vernachlässigen. Der Abstand zwischen Modell und optimaler Abdeckung wächst mit zunehmender Rechenstufe deutlich.

LogicGraph macht diesen Divergenz‑Gap sichtbar und liefert konkrete Erkenntnisse, die Entwickler nutzen können, um die explorative Fähigkeit ihrer Modelle zu verbessern. Der zugehörige Code und die Datensätze stehen bereits auf GitHub bereit.