Neues STE-Modell verbessert Genauigkeit und Effizienz von Analog‑CIM‑Netzwerken

Forscher haben ein erweitertes Straight‑Through Estimator (STE) entwickelt, das die Leistung von neuronalen Netzwerken auf Analog‑Compute‑In‑Memory (CIM) Hardware deutlich steigert. Analog‑CIM‑Architekturen versprechen enorme Energieeinsparungen, doch die hardwareinduzierte Rauscheffekte stellen bislang ein großes Hindernis für die Praxis dar.

Traditionelle, rauschbewusste Trainingsmethoden nutzen idealisierte, differenzierbare Rauschmodelle, die die Komplexität echter Analog‑CIM‑Variationen nicht vollständig abbilden. Das neue Verfahren trennt die Simulation von Vorwärts‑Rauschen von der Rückwärts‑Gradienten‑Berechnung. Dadurch kann ein genaueres, aber rechnerisch aufwendigeres Rauschmodell eingesetzt werden, ohne die Optimierungsstabilität zu gefährden.

Die theoretische Analyse zeigt, dass die wesentlichen Richtungsinformationen der Gradienten erhalten bleiben, während die Rechenkomplexität überschaubar bleibt. In umfangreichen Experimenten erzielte das erweiterte STE bis zu 5,3 % höhere Genauigkeit bei Bildklassifikationen, reduzierte die Perplexität bei Textgenerierung um 0,72, beschleunigte die Trainingszeit um das 2,2‑fache und senkte den Spitzen‑Speicherverbrauch um 37,9 % im Vergleich zu herkömmlichen rauschbewussten Trainingsansätzen.