Neuer Ansatz: Low‑Rank Spatial Attention verbessert neuronale Operatoren

Neurale Operatoren haben sich als leistungsstarke, datengetriebene Ersatzmodelle für partielle Differentialgleichungen etabliert. Ihr Erfolg beruht darauf, die weitreichende, globale Kopplung zwischen räumlichen Punkten effizient zu modellieren. In vielen PDE‑Regimen lassen sich die daraus resultierenden globalen Interaktionskerne jedoch kompakt darstellen, da sie eine schnelle Spektraldämpfung aufweisen und damit für Low‑Rank‑Approximationen geeignet sind.

Aus dieser Beobachtung heraus wurde ein gemeinsames Low‑Rank‑Template entwickelt, das sämtliche globalen Mischmodule in neuronalen Operatoren vereint: hochdimensionale Punkt‑zu‑Punkt‑Features werden in einen kompakten latenten Raum komprimiert, dort werden die globalen Interaktionen verarbeitet und anschließend wieder in die räumlichen Punkte zurückgeführt. Der daraus resultierende Low‑Rank Spatial Attention (LRSA) Block setzt dieses Prinzip sauber um und nutzt ausschließlich Standard‑Transformer‑Primitives – Attention, Normalisierung und Feed‑Forward‑Netze. Dadurch bleibt der Block kompakt, leicht implementierbar und lässt sich direkt mit hardwareoptimierten Kerneln nutzen.

In umfangreichen Experimenten zeigte sich, dass diese einfache Konstruktion bereits eine deutliche Leistungssteigerung erzielt: Der durchschnittliche Fehler sinkt um mehr als 17 % im Vergleich zu den zweitbesten Methoden. Gleichzeitig bleibt LRSA stabil und effizient, auch bei Mixed‑Precision‑Training, was die praktische Anwendbarkeit in realen PDE‑Simulationen weiter erhöht.