Frequenzadaptive Tensor-Netze lösen hochdimensionale Mehrskalenprobleme

In einer neuen Veröffentlichung auf arXiv wird gezeigt, dass Tensor-Neuronennetze (TNNs) trotz ihrer bisherigen Überlegenheit bei hochdimensionalen Aufgaben durch das sogenannte Frequency Principle eingeschränkt sind. Dieses Prinzip hemmt die Fähigkeit der Netze, hochfrequente Strukturen in den Lösungen akkurat zu erfassen.

Die Autoren analysieren die Trainingsdynamik von TNNs mithilfe einer Fourier‑Analyse und steigern deren Ausdruckskraft, indem sie zufällige Fourier‑Features einführen. Dadurch wird die Netzarchitektur besser an die komplexen, mehrskalenigen Strukturen der zu lösenden Probleme angepasst.

Ein weiterer Meilenstein ist die Entwicklung einer Methode, die Frequenzmerkmale hochdimensionaler Funktionen extrahiert, indem die diskrete Fourier‑Transformation auf ein‑dimensionale Komponentenfunktionen angewendet wird. Dieser Ansatz reduziert die Dimensionalitätsfluch‑Problematik erheblich.

Auf Basis dieser Erkenntnisse wird ein frequenzadaptiver TNN‑Algorithmus vorgestellt, der die Leistungsfähigkeit der Netze bei der Lösung anspruchsvoller Mehrskalenprobleme deutlich erhöht.

Umfangreiche numerische Experimente belegen die Wirksamkeit und Robustheit des neuen Ansatzes und unterstreichen das Potenzial frequenzadaptiver Tensor‑Netze für zukünftige Anwendungen in der Hochdimensionstheorie.