Flowers: Neuronales Modell für PDEs ohne Fourier- oder Convolution-Methoden
In einer kürzlich veröffentlichten Arbeit auf arXiv präsentiert das Forschungsteam die Architektur „Flowers“, ein neuronales Modell, das die Lösung von partiellen Differentialgleichungen (PDEs) ausschließlich mit Multi‑Head‑Warp‑Mechanismen lernt. Im Gegensatz zu herkömmlichen Ansätzen verzichtet Flowers komplett auf Fourier‑Multiplikatoren, Dot‑Product‑Attention und konvolutionale Mischungen.
Jeder Warp‑Head erzeugt ein Punkt‑zu‑Punkt‑Verschiebungsfeld, das die zuvor kanalweise gemischten Eingangsfeatures verformt. Die Verschiebungen werden ohne räumliche Aggregation vorhergesagt, sodass die Nichtlokalität nur durch ein einzelnes, spärlich gesampeltes Ausgangskoordinatenset pro Head eintritt. Durch das Stapeln dieser Warps in multiskaligen Residual‑Blöcken entsteht ein adaptives, globales Interaktionsnetzwerk, das bei linearer Kosten arbeitet.
Die Autoren begründen das Design theoretisch aus drei Perspektiven: Flusskarten für Erhaltungsgesetze, Wellen in inhomogenen Medien und einem kinetisch‑theoretischen Kontinuumsschwellenwert. Diese Kombination ermöglicht es Flowers, komplexe Strömungs‑ und Wellensysteme präzise zu modellieren.
In umfangreichen 2‑D‑ und 3‑D‑Benchmarks über Zeit‑abhängige PDEs liefert ein kompaktes 17‑Mio‑Parameter‑Modell konsequent bessere Ergebnisse als Fourier‑, Convolution‑ und Attention‑basierte Baselines gleicher Größe. Eine 150‑Mio‑Parameter‑Variante übertrifft sogar aktuelle transformer‑basierte Grundmodelle, obwohl sie deutlich weniger Parameter, Daten und Rechenleistung erfordert.