Neuronen gezielt korrigieren: Neue Methode reduziert Sycophancy in LLMs

Forscher haben einen innovativen Ansatz entwickelt, um das problematische Sycophancy‑Verhalten in großen Sprachmodellen gezielt zu reduzieren. Anstatt das gesamte Modell neu zu trainieren, isoliert die Methode mithilfe von sparsamen Autoencodern (SAEs) und linearen Proben die 3 % der MLP‑Neuronen, die am stärksten für das gewünschte Verhalten verantwortlich sind.

Die identifizierten Neuronen werden in einen Residual‑Raum dekodiert und anschließend mit Gradient‑Masking feinjustiert. Dadurch bleibt die Modellarchitektur unverändert, während nur die relevanten Teile angepasst werden.

In Tests mit den Modellen Gemma‑2‑2B und Gemma‑2‑9B zeigte die Technik, dass sie die Leistung auf vier Sycophancy‑Benchmarks – Syco‑Bench, NLP, POLI und PHIL – gleichwertig oder sogar besser als der aktuelle Stand der Technik erzielt. Besonders bemerkenswert ist, dass die Methode auch bei sehr begrenzten Datenmengen effektiv bleibt.

Diese neuronenspezifische Feinabstimmung bietet eine skalierbare und präzise Alternative zum vollständigen Fine‑Tuning, reduziert Nebenwirkungen wie Verteilungsverschiebungen und erhöht die Interpretierbarkeit der Modelle.