STAS: Berechnungszeit für Spiking Transformers senkt Energieverbrauch um 45 %

Spiking Neural Networks (SNNs) versprechen eine deutlich höhere Energieeffizienz als klassische künstliche neuronale Netzwerke, leiden jedoch unter hoher Latenz und Rechenaufwand, weil sie über mehrere Zeitschritte hinweg arbeiten. Um diese Nachteile zu mildern, wurden verschiedene dynamische Berechnungsmethoden entwickelt, die jedoch meist nur einzelne Aspekte – räumlich, zeitlich oder architekturspezifisch – adressieren und daher fragmentiert bleiben.

Die Prinzipien der Adaptive Computation Time (ACT) bieten einen vielversprechenden Ansatz für eine einheitliche Lösung, stoßen jedoch bei SNN‑basierten Vision Transformers an zwei Grenzen: Erstens wird die Voraussetzung der zeitlichen Ähnlichkeit verletzt, und zweitens ist die statische Architektur grundsätzlich nicht für ACT geeignet. STAS (Spatio‑Temporal Adaptive Computation Time) löst diese Probleme, indem es die statische Architektur und die dynamische Berechnungsstrategie gemeinsam entwirft.

Im Kern führt STAS ein integriertes Spike‑Patch‑Splitting‑Modul (I‑SPS) ein, das durch die Schaffung einer einheitlichen Eingabedarstellung die zeitliche Stabilität gewährleistet. Dadurch kann das adaptive Spiking Self‑Attention‑Modul (A‑SSA) Tokens zweidimensional – sowohl räumlich als auch zeitlich – aussortieren. Die Kombination aus I‑SPS und A‑SSA ermöglicht eine effiziente, adaptive Berechnung, die sich dynamisch an die Komplexität der Eingabe anpasst.

Die Implementierung von STAS auf spiking Transformer‑Architekturen und die Validierung an den Datensätzen CIFAR‑10, CIFAR‑100 und ImageNet zeigen beeindruckende Ergebnisse: Der Energieverbrauch wird um bis zu 45,9 % bei CIFAR‑10, 43,8 % bei CIFAR‑100 und 30,1 % bei ImageNet reduziert, während gleichzeitig die Genauigkeit gegenüber aktuellen Spitzenmodellen verbessert wird. STAS demonstriert damit, dass adaptive Berechnungszeit in SNN‑Transformers nicht nur machbar, sondern auch äußerst vorteilhaft ist.