Robuste KI-Logik: GASP stärkt Modelle gegen fehlerhafte Eingaben

In der Welt des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) sind Modelle oft beeindruckend stark, doch ihre Leistung kann bei fehlerhaften Kontexten – etwa durch manipulierte Chain-of-Thoughts oder leichte Eingabeverzerrungen – dramatisch nachlassen. Das liegt daran, dass RLVR ausschließlich die Richtigkeit der Endantwort unter sauberen Bedingungen optimiert.

GASP (Guided Adversarial Self-Play) löst dieses Problem, indem es ein selbstregulierendes Spiel zwischen einem „Polluter“ und einem Agenten ins Spiel bringt. Der Polluter lernt, gezielt lokale, aber konsistente Störungen einzuführen, während der Agent darauf trainiert wird, diese Fehler zu erkennen und zu beheben – alles ausschließlich anhand von Ergebnisverifikation, ohne menschliche Labels oder externe Lehrer.

Um die anfängliche Knappheit erfolgreicher Wiederherstellungen zu überwinden, integriert GASP eine „in-distribution Repair Guidance“. Dabei wird ein Imitationsterm auf selbst generierte Reparaturen angewendet, der die Wahrscheinlichkeit einer erfolgreichen Wiederherstellung erhöht, ohne zuvor erlernte Fähigkeiten zu verlieren.

In Tests mit vier Open-Weight-Modellen von 1,5 B bis 8 B Parametern verwandelt GASP robuste, aber anfällige Reasoner in Modelle, die nicht nur widerstandsfähig gegen irreführende und veränderte Kontexte sind, sondern häufig auch die Genauigkeit bei sauberen Eingaben steigern. Weitere Analysen zeigen, dass die adversarialen Störungen ein effektives Curriculum erzeugen und die in-distribution Guidance das schnelle Erlernen von Wiederherstellungsstrategien mit minimaler Repräsentationsverschiebung ermöglicht.