RAPTOR: Neue Ridge-Logistikprobe verbessert Konzept-Analyse in LLMs

Wissenschaftler haben einen neuen Ansatz namens RAPTOR (Ridge-Adaptive Logistic Probe) vorgestellt, der die Analyse von Konzepten in großen Sprachmodellen (LLMs) revolutioniert. Durch die Kombination einer L2-Regularisierung mit einer datengetriebenen Ridge-Stärke liefert RAPTOR präzise Konzeptvektoren, die sowohl genau als auch stabil gegenüber Ablation sind.

Im Gegensatz zu herkömmlichen Probes, die oft teuer und unzuverlässig sind, nutzt RAPTOR ein leichtgewichtiges logistisches Modell, das auf den Layer-Repräsentationen eines eingefrorenen LLMs trainiert wird. Die daraus gewonnenen Vektoren können anschließend in sogenannten Probe‑then‑Steer‑Pipelines eingesetzt werden, um die Aktivierungen eines Modells gezielt zu steuern. Die Autoren zeigen, dass RAPTOR in umfangreichen Experimenten mit instruction‑tuned LLMs und menschlich erstellten Konzeptdatensätzen die Leistung starker Baselines erreicht oder übertrifft, während es gleichzeitig deutlich weniger Trainingskosten verursacht.

Ein weiteres Highlight der Arbeit ist die theoretische Analyse mittels des Convex Gaussian Min‑max Theorems (CGMT). Diese liefert ein mechanistisches Verständnis dafür, wie die Ridge‑Strafe die Genauigkeit der Probe und die Stabilität der Konzeptvektoren beeinflusst – ein Ergebnis, das sich qualitativ mit den beobachteten Trends auf realen LLM‑Embeddings deckt. RAPTOR demonstriert damit nicht nur praktische Vorteile, sondern bietet auch neue Einblicke in die Funktionsweise von Probes im Hochdimensionalen Few‑Shot‑Setting.