LLMs zeigen: Stabile Logik bei Umformungen, aber brüchig bei fehlenden Regeln

Neue Forschungsergebnisse aus der arXiv-Vorveröffentlichung Weniger ist mehr bei mehrstufiger logischer Argumentation der LLM-Generalisierung unter Regelentfernung, Paraphrasierung und Kompression zeigen, dass große Sprachmodelle (LLMs) trotz ihrer beeindruckenden Leistungen bei vielen Aufgaben in logischen Kontexten noch Schwächen aufweisen. Die Autoren haben ein kontrolliertes Evaluationsframework entwickelt, das die Zuverlässigkeit von mehrstufigen Schlussfolgerungen gezielt unter vier Stressbedingungen testet.

Die Tests umfassen: (1) das Entfernen von Regeln – sei es redundant oder wesentlich – aus einer mehrstufigen Argumentationskette; (2) das Einbringen widersprüchlicher Beweise; (3) das Anwenden von logikbeibehaltenden Umformungen, die verschiedene Äquivalenzgesetze nutzen; und (4) das Stapeln mehrerer solcher Umformungen gleichzeitig. Die Untersuchung wurde an drei prominenten Modellfamilien durchgeführt: BERT, Qwen2 und LLaMA‑ähnlichen Modellen.

Die Ergebnisse sind eindeutig: Alle Modelle erzielen perfekte Genauigkeit bei den Basisaufgaben und bleiben auch bei der Entfernung redundanter Regeln sowie bei allen logikbeibehaltenden Umformungen – einzeln oder kombiniert – vollständig leistungsfähig. Sobald jedoch wesentliche Regeln entfernt werden, sinkt die Genauigkeit drastisch auf etwa 25 %. Bei expliziten Widersprüchen zerfallen die Modelle komplett und erreichen 0 % Genauigkeit. Diese Befunde verdeutlichen, dass LLMs eine stabile Invarianz gegenüber semantisch gleichwertigen logischen Transformationen besitzen, jedoch empfindlich auf fehlende oder widersprüchliche Informationen reagieren.

Das vorgestellte Framework bietet damit ein klares Diagnoseinstrument, um die Schwachstellen in der logischen Generalisierung von LLMs zu isolieren. Gleichzeitig unterstreicht es die bestehenden Lücken in der Fähigkeit moderner Sprachmodelle, komplexe logische Strukturen zuverlässig zu verarbeiten.