SVDformer: Neuer Ansatz für gerichtete Graphen mit SVD und Transformer

In der Welt der Graphenverarbeitung haben gerichtete Graphen seit jeher die komplexen, asymmetrischen Beziehungen in realen Systemen abgebildet. Traditionelle Graph-Neuronale Netzwerke (GNNs) stoßen jedoch an ihre Grenzen, wenn sie gleichzeitig die Richtungssensitivität und die globalen Strukturen erfassen sollen. Der neu veröffentlichte Ansatz SVDformer löst dieses Problem, indem er die Stärken der Singulärwertzerlegung (SVD) mit der Flexibilität von Transformer‑Architekturen kombiniert.

Der Kern des Modells besteht darin, Singularwert‑Embeddings mithilfe von Multi‑Head‑Self‑Attention zu verfeinern. Dadurch werden wichtige spektrale Komponenten gezielt betont, während hochfrequentes Rauschen unterdrückt wird. Diese Technik ermöglicht ein lernbares Low‑Pass/High‑Pass‑Graph‑Filtering ohne die Notwendigkeit expliziter spektraler Kerne.

Darüber hinaus behandelt SVDformer die Singularvektoren als Richtungs­projectionsbasen und die Singularwerte als Skalierungsfaktoren. Durch die Anwendung eines Transformers auf diese Strukturen werden multi‑skalare Interaktionen zwischen ein- und ausgehenden Kantenexplizit modelliert. Das Ergebnis ist eine bewusste Erhaltung der Kantendirektion während der Feature‑Propagation.

In umfangreichen Tests auf sechs Benchmark‑Datensätzen für gerichtete Graphen hat SVDformer die Leistung bestehender GNN‑Modelle und richtungsbewusster Baselines bei Klassifikationsaufgaben deutlich übertroffen. Dieser Fortschritt eröffnet ein neues Paradigma für die Repräsentations­lernen auf gerichteten Graphen und legt den Grundstein für zukünftige Entwicklungen in diesem Bereich.