RFEval: Benchmark zur Messung der Glaubwürdigkeit von KI-Argumenten

Neues Forschungswerkzeug namens RFEval prüft, ob die Argumente großer KI-Modelle wirklich ihre Entscheidungen erklären oder nur überzeugend klingen. Die Autoren definieren dafür zwei klare Kriterien: die Stance‑Consistency, also die Übereinstimmung der Argumentation mit der Antwort, und die Causal Influence, die zeigt, ob die Argumente tatsächlich die Antwort beeinflussen, wenn man sie gezielt verändert.

Mit RFEval werden 7.186 Testfälle in sieben unterschiedlichen Aufgabenbereichen – von Mathematik über Programmieren bis hin zu Logik – systematisch unter kontrollierten, ausgiebigen Gegenfaktischen Tests untersucht. Auf zwölf Open‑Source‑Modellen wurde die Glaubwürdigkeit gemessen. Fast die Hälfte der Ausgaben (49,7 %) zeigte Unstimmigkeiten, vor allem durch fehlende Stance‑Consistency. Besonders stark betroffen waren Aufgaben mit hoher Komplexität wie Mathematik und Code, wobei die Fehler eher mit nachträglichen Trainingsschritten als mit der Modellgröße zusammenhängen.

Ein überraschendes Ergebnis: Das Hinzufügen von Reinforcement‑Learning‑ähnlichen Zielen nach dem Supervised‑Fine‑Tuning kann die Glaubwürdigkeit senken, obwohl die Genauigkeit unverändert bleibt. Damit wird klar, dass Genauigkeit allein kein verlässlicher Indikator für die Vertrauenswürdigkeit eines Modells ist – die statistische Korrelation zwischen Genauigkeit und Glaubwürdigkeit ist schwach und nicht signifikant.

RFEval liefert damit eine robuste Methode, um die Zuverlässigkeit von großen Rechenmodellen zu prüfen. Für eine vertrauenswürdige KI muss man nicht nur korrekte Ergebnisse erzielen, sondern auch dafür sorgen, dass die zugrunde liegenden Argumentationsprozesse strukturell einwandfrei sind. Der zugehörige Code und die Datensätze stehen öffentlich zur Verfügung, sodass die Forschungsgemeinschaft die Ergebnisse reproduzieren und weiterentwickeln kann.