Feature-Steering: Leistungsverlust trotz Verhaltenskontrolle bei LLMs
Eine neue Studie von Goodfire zeigt, dass Feature‑Steering zwar das Verhalten von Sprachmodellen gezielt beeinflussen kann, dafür aber die Gesamtleistung stark beeinträchtigt. Im Experiment wurden 14 Steuerungsanfragen…
- Eine neue Studie von Goodfire zeigt, dass Feature‑Steering zwar das Verhalten von Sprachmodellen gezielt beeinflussen kann, dafür aber die Gesamtleistung stark beeinträc…
- Im Experiment wurden 14 Steuerungsanfragen – sowohl harmlos als auch sicherheitsrelevant – auf 171 Fragen des Massive Multitask Language Understanding (MMLU) Tests angew…
- Dabei wurden die Modelle Llama‑8B und Llama‑70B mit dem Auto‑Steer‑Tool von Goodfire gegen klassische Prompt‑Engineering‑Methoden verglichen.
Eine neue Studie von Goodfire zeigt, dass Feature‑Steering zwar das Verhalten von Sprachmodellen gezielt beeinflussen kann, dafür aber die Gesamtleistung stark beeinträchtigt.
Im Experiment wurden 14 Steuerungsanfragen – sowohl harmlos als auch sicherheitsrelevant – auf 171 Fragen des Massive Multitask Language Understanding (MMLU) Tests angewendet. Dabei wurden die Modelle Llama‑8B und Llama‑70B mit dem Auto‑Steer‑Tool von Goodfire gegen klassische Prompt‑Engineering‑Methoden verglichen.
Die Ergebnisse sind eindeutig: Auto‑Steer erreicht zwar höhere Kontrollwerte (z. B. 3,33 vs. 2,98 bei Llama‑8B), jedoch sinkt die Genauigkeit drastisch von 66 % auf 46 % bei Llama‑8B und von 87 % auf 73 % bei Llama‑70B. Auch die Kohärenz der Antworten verschlechtert sich deutlich – von 4,62 auf 2,24 bzw. von 4,94 auf 3,89. Im Gegensatz dazu liefert einfaches Prompt‑Engineering die beste Balance zwischen Verhaltenskontrolle und Modellleistung.
Die Studie unterstreicht, dass mechanistische Kontrollmethoden fundamentale Trade‑offs zwischen Fähigkeit und Verhalten aufweisen. Vor einer praktischen Einführung muss daher die Auswirkung auf die Leistung systematisch untersucht werden.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.