RNNs führen Aufgaben durch dynamisches Verformen neuronaler Darstellungen aus

Neurale Netzwerke sind nicht nur statische Rechenmaschinen – sie verändern ihre inneren Darstellungen ständig, um Aufgaben zu lösen. In einer neuen Studie von Forschern, die sich auf die Geometrie neuronaler Aktivierungen spezialisiert haben, wird gezeigt, dass rekurrente neuronale Netzwerke (RNNs) ihre Berechnungen durch ein dynamisches „Verformen“ ihrer Repräsentationen von Aufgabenvariablen durchführen.

Um diese Idee zu prüfen, wurde ein Riemannian‑geometrisches Rahmenwerk entwickelt, das die Topologie und Geometrie eines dynamischen Systems aus dem Manifold seiner Eingaben ableiten kann. Durch die Analyse der zeitlich variierenden Geometrie von RNNs konnten die Autoren nachweisen, dass das dynamische Verformen ein zentrales Merkmal der Berechnungen dieser Netzwerke ist.

Die Ergebnisse legen nahe, dass die Verbindung zwischen dynamischer Berechnung und repräsentativer Geometrie ein grundlegendes Prinzip der Funktionsweise von RNNs darstellt und damit neue Wege für die Interpretation und Optimierung neuronaler Modelle eröffnet.