Künstliche Fehler einbauen reicht nicht: Selbstkorrektur bleibt aus

Reinforcement Learning (RL) gilt als das führende Verfahren, um große Sprachmodelle zum eigenständigen Nachdenken und Korrigieren ihrer Fehler zu bringen. Doch die damit verbundene Rechenintensität hat die Forschung dazu veranlasst, nach kostengünstigeren Alternativen zu suchen.

In einer neuen Studie wurde ein Ansatz aus dem Bereich autonomes Fahren und Robotik adaptiert: Künstliche Fehler werden in die Argumentationsketten eines Modells eingefügt, anschließend maskiert und das Modell wird darauf trainiert, diese Fehler zu erkennen und zu korrigieren. Der Gedanke klingt verlockend, doch die Ergebnisse sprechen eine andere Sprache.

Die Experimente zeigten, dass die Methode weder die Leistung noch die Selbstkorrekturfähigkeit signifikant verbessert – selbst bei einfachen synthetischen Aufgaben und über mehrere Modelle hinweg. Noch auffälliger ist, dass das Modell, sobald es einen Fehler erkennt, häufig die ursprüngliche Falschformulierung wiederholt, anstatt sie zu korrigieren.

Ein entscheidender Faktor ist der sogenannte „Distribution Shift“: Die künstlich erzeugten Fehler unterscheiden sich stark von den Fehlern, die ein Modell in der Praxis selbst produziert. Diese Diskrepanz führt dazu, dass die Fehlerkorrektur nach dem Feintuning stark abnimmt, selbst wenn die synthetische Fehlerabdeckung gut ist.

Die Ergebnisse unterstreichen, warum on‑policy Reinforcement Learning bislang die einzige Methode ist, die wirklich effektive Selbstkorrektur in Sprachmodellen hervorruft. Sie zeigen, dass die direkte Interaktion mit den eigenen Fehlern – und nicht das Einbauen von künstlichen – der Schlüssel zum Erfolg ist.