Dynamische Punktverfolgung: Optimierung von Analog-In-Memory-Training

Analog‑In‑Memory‑Computing (AIMC) nutzt Widerstands‑Crossbar‑Arrays, um Rechenoperationen direkt im Speicher auszuführen und damit enorme Energieeinsparungen für große Vision‑ und Sprachmodelle zu ermöglichen. Die Realität bringt jedoch nicht‑ideale Eigenschaften analoger Bauelemente mit sich, die das Training erschweren. Insbesondere führt die asymmetrische Gewichtserhöhung dazu, dass die Updates systematisch in Richtung eines gerätespezifischen symmetrischen Punkts (SP) driften – ein Punkt, der meist nicht mit dem Optimum des Trainingsziels übereinstimmt.

Die meisten bisherigen Ansätze gehen davon aus, dass der SP bereits bekannt ist, und kalibrieren ihn vor dem Training auf Null, indem sie den Referenzpunkt auf den SP setzen. Diese Kalibrierung erfordert jedoch kostenintensive Pulsupdates, und verbleibende Kalibrierungsfehler können die Trainingsgenauigkeit direkt beeinträchtigen. In der vorliegenden Arbeit wird erstmals die Pulskomplexität der SP‑Kalibrierung theoretisch charakterisiert und der daraus resultierende Schätzfehler quantifiziert.

Darauf aufbauend wird eine dynamische SP‑Schätzung vorgestellt, die den symmetrischen Punkt während des gesamten Trainings verfolgt und dabei Konvergenzgarantien liefert. Zusätzlich wird eine verbesserte Variante entwickelt, die Techniken des digitalen Signal‑Processings – Chopping und Filtern – nutzt. Numerische Experimente zeigen, dass die vorgeschlagene Methode sowohl effizient als auch effektiv ist und die Trainingsleistung auf AIMC‑Geräten signifikant steigert.