Neue Aufgabe ARCHE prüft, ob KI echte wissenschaftliche Argumente versteht

Wissenschaftler haben eine neue Herausforderung für große Sprachmodelle (LLMs) entwickelt, die die Tiefe des logischen Denkens in wissenschaftlichen Texten misst. Die Aufgabe, genannt Latent Reasoning Chain Extraction (ARCHE), verlangt von Modellen, komplexe Argumentationsketten in strukturierte Reasoning Logic Trees (RLT) zu zerlegen. Dabei werden sämtliche Schritte eindeutig als Deduktion, Induktion oder Abduktion klassifiziert – die drei fundamentalen Inferenzen von Peirce.

Zur Durchführung wurde das ARCHE Bench‑Set erstellt, das auf 70 Artikeln der Zeitschrift Nature Communications basiert. Das Benchmark umfasst über 1.900 Referenzen und 38.000 Sichtweisen. Für die Bewertung wurden zwei neue Metriken eingeführt: Entity Coverage (EC) zur Messung der inhaltlichen Vollständigkeit und Reasoning Edge Accuracy (REA) zur Prüfung der logischen Gültigkeit Schritt für Schritt.

Die ersten Tests mit zehn führenden LLMs zeigten, dass die Modelle zwar teilweise gute Ergebnisse erzielen, jedoch noch keine vollständige und standardisierte Argumentationskette extrahieren können. Ein deutlicher Kompromiss zwischen EC und REA wurde beobachtet, was auf einen noch bestehenden Abstand zwischen den Fähigkeiten heutiger Modelle und den Anforderungen wissenschaftlicher Argumentation hinweist.