BEP: Vollständig binäres Training von neuronalen Netzwerken

Binäre neuronale Netzwerke (BNNs) beschränken Gewichte und Aktivierungen auf nur zwei Werte. Dadurch sinken Rechenaufwand, Speicherbedarf und Energieverbrauch drastisch – ein klarer Gewinn für Geräte mit knappen Ressourcen. Das Training solcher Netzwerke mit klassischen Gradientenverfahren ist jedoch schwierig, weil die diskreten Variablen die Ableitungen unmöglich machen.

Der bisher dominante Ansatz, das quantisierungsbewusste Training, nutzt sogenannte Surrogatgradienten. Dabei werden jedoch weiterhin volle Präzisionsparameter gehalten und die Rückwärtsrechnung in Fließkommazahlen ausgeführt, was die Vorteile binärer Operationen während des Trainings zunichte macht. Lokale Lernregeln, die alternative Wege bieten, eignen sich nicht für die globale Fehlerzuweisung oder das Back‑Propagation in mehrschichtigen Architekturen.

Die neue Methode, Binary Error Propagation (BEP), löst dieses Problem, indem sie ein diskretes Pendant zur Back‑Propagation-Kettenregel entwickelt. Fehlervektoren werden als binäre Vektoren durch mehrere Schichten propagiert, und sämtliche Vorwärts- und Rückwärtsberechnungen erfolgen ausschließlich mit bitweisen Operationen. Damit ist BEP die erste Lösung, die ein vollständig binäres Training – auch für rekurrente Netzwerke – ermöglicht.

Die Autoren demonstrieren die Wirksamkeit von BEP an mehrschichtigen Perzeptronen und rekurrenten neuronalen Netzwerken, wobei die Ergebnisse die Leistungsfähigkeit des Ansatzes unterstreichen. BEP eröffnet damit neue Wege für effizientes, ressourcenschonendes Training von BNNs auf modernen Hardwareplattformen.