Feature-Steering: Transparente Ausrichtung von Sprachmodellen mit Sparse Autoencoder

Die sichere und nutzbare Ausrichtung großer Sprachmodelle ist ein zentrales Ziel der KI-Forschung. Traditionell wird dafür Reinforcement Learning from Human Feedback (RLHF) eingesetzt, das jedoch zu weitverbreiteten, schwer nachvollziehbaren Parameteränderungen führt. Um dem entgegenzuwirken, präsentiert ein neues Verfahren namens Feature Steering with Reinforcement Learning (FSRL) einen klaren und nachvollziehbaren Ansatz.

FSRL nutzt einen leichten Adapter, der das Verhalten eines Modells steuert, indem er interpretierbare Merkmale eines Sparse Autoencoders (SAE) moduliert. Durch gezielte Anpassung dieser Features kann das Modell präferierte Verhaltensweisen erlernen, ohne dass die zugrunde liegenden Parameter unübersichtlich werden. Erste Tests zeigen, dass FSRL die Präferenzoptimierung genauso gut wie aktuelle RLHF-Methoden bewältigt.

Eine mechanistische Analyse des trainierten Adapters offenbart, dass die Policy des Adapters stark auf Stilmerkmale abzielt, während explizite Ausrichtungsprinzipien weniger betont werden. Dies deutet darauf hin, dass der Optimierungsprozess stilistische Darstellungen als Indikator für Qualität belohnt. FSRL bietet damit nicht nur ein Werkzeug für interpretierbare Modellsteuerung, sondern auch ein Mittel, die internen Abläufe der Ausrichtung zu diagnostizieren.