ADAPT: Hybrid‑Ansatz zur Feature‑Visualisierung in LLMs

Die Analyse, welche Merkmale von Lernrichtungen im Aktivierungsraum großer Sprachmodelle (LLMs) codiert werden, erfordert die Identifikation von Eingaben, die diese Richtungen stark aktivieren. Feature‑Visualisierung, bei der Eingaben so optimiert werden, dass sie eine Zielrichtung maximal aktivieren, stellt eine kostengünstige Alternative zu datenbankbasierten Suchansätzen dar. Für LLMs bleibt sie jedoch bislang wenig erforscht, weil die diskrete Natur von Texten die Optimierung erschwert.

Bestehende Prompt‑Optimierungsmethoden sind in diesem Kontext schlecht geeignet und neigen stark zu lokalen Minima. Um diese Hindernisse zu überwinden, präsentiert die Studie ADAPT – einen hybriden Ansatz, der Beam‑Search‑Initialisierung mit adaptivem, gradientsgesteuertem Mutationsverfahren kombiniert. Dieser Mix ist gezielt auf die typischen Fehlerquellen in der Textoptimierung ausgelegt.

Die Wirksamkeit von ADAPT wurde an Sparse‑Autoencoder‑Latenten des Modells Gemma 2 2B getestet. Für die Bewertung wurden neue Metriken entwickelt, die auf Aktivierungsstatistiken aus Datensätzen basieren und einen rigorosen Vergleich ermöglichen. Die Ergebnisse zeigen, dass ADAPT in allen untersuchten Schichten und Latent‑Typen konsequent bessere Ergebnisse liefert als frühere Methoden.

Die Arbeit demonstriert, dass Feature‑Visualisierung für LLMs machbar ist, jedoch spezifische Designannahmen erfordert, die an die Besonderheiten des Textdomains angepasst sind. Diese Erkenntnisse eröffnen neue Wege, die interne Repräsentationen großer Sprachmodelle besser zu verstehen und zu interpretieren.