Doppelte Gegenfaktische Konsistenz: LLMs lernen kausales Denken ohne Daten

Neues Verfahren namens Double Counterfactual Consistency (DCC) ermöglicht es großen Sprachmodellen, ihre kausale Denkfähigkeit ohne aufwändige Datenerstellung zu prüfen und zu verbessern. Während herkömmliche Modelle bei Standard-Benchmarks glänzen, zeigen sie bei Gegenfaktischen Fragen Schwächen, die auf mangelnde kausale Logik hinweisen.

DCC arbeitet rein auf Inferenzzeit und prüft zwei zentrale Elemente des kausalen Denkens: die Fähigkeit, Interventionen durchzuführen und Gegenfaktische Vorhersagen zu treffen. Durch diese doppelte Konsistenz wird die Zuverlässigkeit des Modells in komplexen Szenarien deutlich erhöht.

In umfangreichen Tests wurden führende LLMs mit DCC bewertet. Das Verfahren fungiert nicht nur als Prüfmaßstab, sondern kann auch als trainingsfreier Testzeit-Filter eingesetzt werden. Durch gezielte Ablehnung von unzuverlässigen Antworten verbessert DCC die Leistung auf diversen Logikaufgaben über mehrere Modellfamilien hinweg.