Neural Isomorphic Fields: numerische Einbettung für stabile Zahlen

Neurale Netzwerke stoßen häufig an Grenzen, wenn sie extrem kleine oder große Zahlen verarbeiten müssen. Durch Überlauf, Unterlauf oder schwankende Ausgaben entstehen dabei Instabilitäten, die die Zuverlässigkeit der Modelle beeinträchtigen. Um diese Probleme zu umgehen, schlägt die neue Studie vor, statt der Rohwerte selbst Einbettungsvektoren für Zahlen zu verwenden. Diese Vektoren sollen die wesentlichen algebraischen Eigenschaften bewahren und gleichzeitig numerische Unstabilitäten verhindern.

Im Kern präsentiert die Arbeit erstmals einen festen, eindimensionalen Einbettungsvektor für Zahlen, der die algebraischen Operationen Addition, Multiplikation und Vergleich innerhalb des rationalen Zahlbereichs exakt abbildet. Dieser Ansatz führt zu dem Konzept der „Neural Isomorphic Field“, einer neuronalen Abstraktion algebraischer Strukturen wie Gruppen und Felder. Die Elemente dieses Feldes sind die Einbettungsvektoren, die während der Berechnungen die algebraische Struktur erhalten.

Die Experimente zeigen, dass die Addition mit über 95 % Genauigkeit bei Schlüsseltests wie Identität, Abgeschlossenheit und Assoziativität abschneidet. Die Multiplikation hingegen weist noch Verbesserungsbedarf auf, mit Genauigkeiten zwischen 53 % und 73 % je nach getesteter Eigenschaft. Diese Ergebnisse unterstreichen die Stärke des Modells bei der Erhaltung algebraischer Eigenschaften bei Additionen und weisen gleichzeitig auf mögliche Optimierungsfelder für die Multiplikation hin.