CircuitProbe: Schnelle Vorhersage von Rechenkreisen in Transformer-Modellen

Transformer‑Sprachmodelle enthalten spezialisierte Rechenkreise, die in aufeinanderfolgenden Layer‑Blöcken liegen und die Leistung beim Duplizieren während der Inferenz deutlich steigern. Derzeit erfordert die Suche nach diesen Kreisen ein aufwändiges, brute‑force‑Verfahren, das bis zu 25 GPU‑Stunden pro Modell beansprucht.

Mit der neuen Methode CircuitProbe lassen sich die Positionen dieser Kreise aus Aktivierungsstatistiken ableiten – und das in weniger als fünf Minuten auf einer CPU. Der Ansatz liefert eine Beschleunigung von drei bis vier Größenordnungen und identifiziert zwei Haupttypen von Kreisen: Stabilitätskreise in frühen Layern, die über die Ableitung der Repräsentationsänderung erkannt werden, und Magnitudekreise in späteren Layern, die mittels Anomalie‑Scoring detektiert werden.

Die Validierung erstreckte sich über neun Modelle aus sechs Architekturen, darunter 2025 Modelle, und zeigte, dass die Top‑Vorhersagen von CircuitProbe entweder exakt oder höchstens zwei Layer von der optimalen Position abweichen. Ein Skalierungstest mit der Qwen 2.5‑Familie ergab, dass das Duplizieren von Layern bei Modellen unter 3 B Parametern die Leistung verbessert, bei Modellen ab 7 B jedoch nachlässt – ein praktisches Skalierungstool für kleinere Sprachmodelle.

CircuitProbe benötigt lediglich zehn Kalibrierungsbeispiele und liefert stabile Ergebnisse in mehreren Sprachen, darunter Englisch, Hindi, Chinesisch und Französisch. Damit bietet es eine effiziente, sprachunabhängige Lösung zur Optimierung von Transformer‑Modellen.