Neues Messverfahren verbessert Übereinstimmung von KI- und menschlicher Argumentation

Ein kürzlich auf arXiv veröffentlichtes Forschungsdokument stellt ein innovatives Verfahren vor, mit dem die Konsistenz von Sprachmodellen in der sogenannten Chain-of-Thought‑Logik systematisch bewertet und optimiert werden kann. Das Herzstück des Ansatzes ist der Alignment Score, ein neu entwickelter Messwert, der die semantische Übereinstimmung zwischen von Modellen generierten Argumentationsketten und von Menschen verfassten Referenzketten quantifiziert.

Die Autoren zeigen, dass bei mehrstufigen Überlegungen – insbesondere bei 2‑Hop‑Ketten – die höchste Übereinstimmung erreicht wird. Um die Ursachen für geringere Scores zu verstehen, identifizieren sie vier zentrale Fehlerarten: logische Unterbrechungen, thematische Sprünge, redundante Überlegungen und kausale Umkehrungen. Jede dieser Fehlerquellen trägt dazu bei, dass die Alignment Scores sinken.

Auf Basis dieser Analyse präsentiert das Team die Methode Semantic Consistency Optimization Sampling (SCOS). Durch gezieltes Auswählen und Bevorzugen von Ketten mit minimalen Alignment‑Fehlern steigert SCOS die Scores im Durchschnitt um beeindruckende 29,84 %. Besonders bei längeren Aufgaben, wie 3‑Hop‑Ketten, zeigt sich die Effektivität der Optimierung deutlich.