Counterfactual Simulation Training steigert Glaubwürdigkeit von Chain-of-Thought

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neues Trainingsverfahren namens Counterfactual Simulation Training (CST) vorgestellt, das die Glaubwürdigkeit von Chain-of-Thought (CoT)-Erklärungen in großen Sprachmodellen deutlich verbessert. CST belohnt CoT‑Sequenzen, die es einem Simulator ermöglichen, die Ausgaben des Modells bei kontrafaktischen Eingaben exakt vorherzusagen.

Die Methode wird in zwei Anwendungsfällen eingesetzt. Erstens dient CST der CoT‑Überwachung mit cue‑basierten kontrafaktischen Eingaben, um zu erkennen, ob Modelle auf trügerische Merkmale, Reward‑Hacking oder sycophantisches Verhalten zurückgreifen. Zweitens wird CST auf generische, modellbasierte kontrafaktische Eingaben angewendet, um Modelle zu motivieren, allgemeinere und vertrauenswürdigere Argumentationsketten zu erzeugen.

Experimentelle Ergebnisse mit Modellen bis zu 235 B Parametern zeigen, dass CST die Überwachungsgenauigkeit bei cue‑basierten kontrafaktischen Eingaben um 35 Prozentpunkte steigert und die Simulatierbarkeit bei generischen kontrafaktischen Eingaben um 2 Prozentpunkte erhöht. Darüber hinaus übertrifft CST Prompting‑Baselines, das Umschreiben unzuverlässiger CoT‑Sequenzen mit einem LLM ist fünfmal effizienter als reine RL‑Ansätze, und größere Modelle profitieren stärker von CST, obwohl sie von Haus aus keine höhere CoT‑Glaubwürdigkeit aufweisen.

Die Ergebnisse deuten darauf hin, dass Counterfactual Simulation Training ein vielversprechendes Werkzeug ist, um die Vertrauenswürdigkeit von Chain-of-Thought‑Erklärungen zu erhöhen und die Überwachung solcher Erklärungen in praktischen Anwendungen zu verbessern. Der zugehörige Code ist auf GitHub verfügbar.