Automatisierte Entdeckung von Aufmerksamkeitsmustern in großen Sprachmodellen

In der Welt der großen Sprachmodelle (LLMs) hat die Skalierung der Fähigkeiten zu bemerkenswerten Erfolgen geführt – von Textgenerierung bis hin zu komplexen Aufgaben. Doch die Interpretierbarkeit dieser Modelle bleibt ein großes Problem. Aktuelle Ansätze liefern zwar präzise Erklärungen für einzelne Verhaltensweisen in kontrollierten Umgebungen, verallgemeinern sich selten und erfordern enorme Ressourcen.

Die neue Studie nutzt die strukturierte Natur von Quellcode, um wiederkehrende Muster in den Aufmerksamkeitsmechanismen von LLMs zu identifizieren. Durch das Durchforsten von Java-Code-Datensätzen werden die von den Attention‑Heads erzeugten Muster gesammelt und als skalierbare Signale für die globale Interpretierbarkeit der Modellkomponenten genutzt.

Ein zentrales Werkzeug ist der Attention Pattern – Masked Autoencoder (AP‑MAE), ein vision‑transformer‑basiertes Modell, das maskierte Aufmerksamkeitsmuster effizient rekonstruiert. Auf dem StarCoder2‑Modell zeigte AP‑MAE beeindruckende Ergebnisse: Es rekonstruiert maskierte Muster mit hoher Genauigkeit, generalisiert auf unbekannte Modelle mit minimalem Leistungsverlust, erkennt wiederkehrende Muster über verschiedene Inferenzläufe hinweg, kann die Richtigkeit einer Generation ohne Ground‑Truth vorhersagen (Genauigkeiten zwischen 55 % und 70 %) und ermöglicht gezielte Interventionen, die die Genauigkeit um 13,6 % steigern – solange sie nicht übermäßig eingesetzt werden.

Diese Befunde legen nahe, dass Aufmerksamkeitsmuster als robuste, skalierbare Indikatoren für die Interpretierbarkeit von LLMs dienen können. Sie eröffnen neue Wege, um die Funktionsweise großer Modelle besser zu verstehen und gezielt zu steuern, ohne die enorme Komplexität der Modelle zu vernachlässigen.