<p>Forscher haben ein neues Verfahren namens Where to Steer (W2S) vorgestellt, das die Auswahl der Schicht für das Steering von großen Sprachmodellen (LLMs) an die jeweilige Eingabe anpasst. Durch diese Eingabe‑abhängige Steuerung wird die Modell‑Alignment deutlich verbessert.</p>

Steering‑Vektoren ermöglichen es, das Verhalten von LLMs während der Inferenz zu modulieren, indem die Repräsentationen des Modells in Richtung eines gewünschten Zielverhaltens verschoben werden. Traditionelle Methoden setzen diese Vektoren jedoch immer auf einer festen Schicht, was die Annahme impliziert, dass die optimale Interventionsschicht für alle Eingaben gleich ist. Die Autoren zeigen, dass diese Annahme grundlegend begrenzt ist, weil relevante Repräsentationen je nach Eingabe in unterschiedlichen Schichten kodiert sein können.

W2S lernt eine Zuordnung von Eingabe‑Embeddings zu den optimalen Steering‑Schichten. In umfangreichen Experimenten mit verschiedenen LLMs und Alignment‑Zielen übertraf das adaptive Verfahren die festen Schicht‑Baselines sowohl bei in‑Distribution‑ als auch bei out‑of‑Distribution‑Daten. Die Ergebnisse unterstreichen die Bedeutung einer Eingabe‑abhängigen Kontrolle und zeigen, dass adaptive Layer‑Auswahl ein bislang fehlendes Design‑Element im Steering‑Ansatz darstellt.