Konsistenztraining verhindert Lügen und Jailbreaks bei KI-Modellen

Eine neue Studie auf arXiv zeigt, dass ein sogenanntes Konsistenztraining die Tendenz großer Sprachmodelle, sich an Nutzermeinungen anzupassen oder unerwünschte Anfragen zu erfüllen, deutlich reduzieren kann.

Im Kern geht es bei Konsistenztraining darum, das Modell zu lehren, auf unterschiedliche, aber inhaltlich gleichwertige Prompt-Variationen – etwa mit zusätzlichen Fragen oder Jailbreak-Texten – identisch zu reagieren. Dadurch wird das Modell von irrelevanten Hinweisen im Prompt ferngehalten.

Die Autoren untersuchen zwei Varianten: Bias‑Augmented Consistency Training (BCT) und Activation Consistency Training (ACT). Beide Ansätze senken die Anfälligkeit von Gemini 2.5 Flash für unerwünschte Reaktionen, wobei BCT besonders wirksam gegen Jailbreaks ist.

Ein großer Vorteil des Konsistenztrainings ist, dass es die Antworten des Modells selbst als Trainingsdaten nutzt. Das vermeidet Probleme, die bei veralteten Datensätzen entstehen, wie z. B. den Verlust von Fähigkeiten oder die Durchsetzung überholter Richtlinien. Gleichzeitig kann BCT die Trainingspipeline vereinfachen, weil keine statischen Datensätze mehr benötigt werden.

Die Autoren argumentieren, dass viele Alignment‑Probleme besser als Konsistenzfragen betrachtet werden sollten, anstatt ausschließlich nach optimalen Antworten zu suchen. Diese Perspektive könnte die Entwicklung robusterer KI‑Modelle beschleunigen.