UltraLIF: Differenzierbare Spiking Neural Networks dank Ultradiscretisierung

Forscher haben ein neues Verfahren namens UltraLIF vorgestellt, das Spiking Neural Networks (SNNs) vollständig differenzierbar macht, ohne auf heuristische Ersatzgradienten zurückgreifen zu müssen.

Der Schlüssel liegt in der Ultradiscretisierung, einer Technik aus der tropischen Geometrie, die diskrete Dynamiken in kontinuierliche Modelle überführt. Durch die Verwendung des Max‑Plus-Algebra-Frameworks wird die klassische Schwellenfunktion eines Neurons durch die log‑sum‑exp‑Funktion ersetzt, die als differenzierbare Soft‑Maximum‑Funktion fungiert und mit einem lernbaren Temperaturparameter \(\varepsilon\) exakt auf die harte Schwelle konvergiert.

Aus zwei unterschiedlichen dynamischen Systemen wurden neuronale Modelle abgeleitet: UltraLIF basiert auf der klassischen LIF‑Differentialgleichung und beschreibt die zeitliche Aktivität, während UltraDLIF die Diffusionsgleichung nutzt, um die Kopplung über Gap‑Junctions in neuronalen Populationen abzubilden. Beide Modelle ermöglichen es, SNNs mit Standard‑Backpropagation zu trainieren, ohne dass ein Vorwärts‑ und Rückwärts‑Mismatch entsteht.

Die theoretische Analyse bestätigt, dass die Modelle punktweise gegen die klassischen LIF‑Dynamiken konvergieren und liefert quantitative Fehlergrenzen sowie garantierte, nicht verschwindende Gradienten. In Experimenten auf sechs Benchmark‑Datensätzen – von statischen Bildern über neuromorphe Vision bis hin zu Audiodaten – übertrafen die UltraLIF‑Netze die bisherigen Surrogatgradienten‑Baselines, insbesondere bei Ein‑Zeitschritt‑Lernaufgaben. Zusätzlich kann ein sparsames Regularisierungsterm die Energieeffizienz deutlich steigern, ohne die Leistung zu beeinträchtigen.