BitStopper: Transformer‑Attention beschleunigt durch Stufenfusion & frühzeitigen

Die neuesten großen Sprachmodelle (LLMs) haben die KI‑Welt revolutioniert, doch die quadratische Kostenstruktur der Selbst‑Attention bleibt ein erheblicher Engpass in Rechenleistung und Speicherbedarf. Dynamische Sparsity‑Techniken reduzieren die Komplexität, stoßen jedoch an die Grenzen der Hardware‑Effizienz, weil ein zusätzlicher Vorhersage‑Schritt und der damit verbundene Speicher‑Traffic die Leistung einschränken.

Mit BitStopper wird dieses Problem angegangen – ohne einen sparsity‑Predictor. Der Kern des Ansatzes ist die bit‑serial Enable‑Stage‑Fusion (BESF), die trivialen Tokens frühzeitig abbricht und die Vorhersage‑Phase nahtlos in die Ausführungs‑Phase integriert. Dadurch werden Speicherzugriffe stark reduziert und die Rechenpipeline effizienter genutzt.

Zusätzlich kommt eine leichte, adaptive Token‑Auswahl (LATS) zum Einsatz, die in Kombination mit bit‑level Sparsity‑Spekulation arbeitet. Ein asynchroner bit‑level‑Processing‑Mechanismus (BAP) sorgt dafür, dass die Rechenressourcen während des bedarfsorientierten, bit‑granularen Speicherzugriffs optimal ausgelastet bleiben. Die komplette Architektur wurde so gestaltet, dass die theoretische Komplexitätsreduktion in greifbare Leistungsverbesserungen umgesetzt wird.

Die Ergebnisse sprechen für sich: Im Vergleich zu den führenden Transformer‑Acceleratoren erzielt BitStopper einen Geschwindigkeitszuwachs von 2,03‑fach gegenüber Sanger und 1,89‑fach gegenüber SOFA. Gleichzeitig verbessert sich die Energieeffizienz um 2,4‑fach gegenüber Sanger und um 2,1‑fach gegenüber SOFA. Diese Zahlen zeigen, dass BitStopper einen bedeutenden Fortschritt in der effizienten Verarbeitung von Transformer‑Modellen darstellt.