Neuronenbasierte Attention-Schaltung revolutioniert kontinuierliches Lernen

Ein neues Forschungsergebnis aus dem arXiv-Repository präsentiert die Neuronal Attention Circuit (NAC), ein biologisch plausibles Modell für kontinuierliche Zeitreihen. NAC ersetzt die üblichen dichten Projektionen von Attention durch spärliche sensorische Gatter, die auf dem neuronalen Schaltkreis von C. elegans basieren. Dadurch entsteht ein dynamisches System, das die Berechnung der Attention-Logits als Lösung einer linearen ersten Ordnung ODE formuliert.

Die Schaltung nutzt zwei spezialisierte Köpfe: einen für die Berechnung des „Content‑Target“ und einen weiteren für einen lernbaren Zeitkonstanten‑Gate. Diese Architektur ermöglicht adaptive Dynamiken, die sich an die jeweilige Aufgabe anpassen. NAC unterstützt drei Modi zur Logit‑Berechnung: explizite Euler‑Integration, exakte geschlossene Form und eine Gleichgewichtszustandsannäherung.

Um die Speicherbelastung zu reduzieren, wurde ein sparsames Top‑K‑Kombinationsschema eingeführt, das gezielt die wichtigsten Key‑Query‑Interaktionen auswählt. Theoretisch liefert NAC Stabilitätsnachweise, begrenzte Approximationseffekte und universelle Approximationseigenschaften.

In praktischen Tests zeigte NAC herausragende Ergebnisse in Bereichen wie unregelmäßiger Zeitreihenklassifikation, Spurhaltealgorithmen für autonome Fahrzeuge und industriellen Prognosen. Die Leistung liegt auf Augenhöhe oder übertrifft bestehende Baselines, während Laufzeit und Speicherbedarf im Vergleich zu anderen kontinuierlichen Modellen moderat bleiben.