Hawkes Attention: Zeitmodulierte Mechanismen für Ereignissequenzen

Ein neues Verfahren namens Hawkes Attention wurde auf arXiv veröffentlicht und verspricht, die Analyse von Ereignissequenzen in Bereichen wie Medizin, Wirtschaft und Sozialwissenschaften zu revolutionieren. Im Gegensatz zu bisherigen Transformer‑Modellen, die Zeitinformationen meist nur über Positionskodierungen einbinden, nutzt Hawkes Attention die Theorie der multivariaten Hawkes‑Prozesse, um die zeitliche Dynamik direkt in die Attention‑Berechnung einzubetten.

Der Kern des Ansatzes ist die Verwendung lernbarer, pro Typ spezifizierter neuronaler Kernel, die die Projektionen von Query, Key und Value modulieren. Dadurch werden die klassischen Attention‑Komponenten durch ein Modell ersetzt, das sowohl die Zeitpunkte der Ereignisse als auch deren Inhalte gleichzeitig verarbeitet. Das Ergebnis ist ein System, das zeitrelevante Verhaltensmuster und typenspezifische Erregungsprofile aus den Daten extrahiert, ohne auf vorgegebene, gemeinsame Abklingfunktionen angewiesen zu sein.

Experimentelle Tests zeigen, dass Hawkes Attention die Leistung gegenüber etablierten Baselines deutlich verbessert. Darüber hinaus lässt sich die Methode problemlos auf andere zeitliche Strukturen übertragen, etwa bei der Vorhersage von Zeitreihen, was ihre Vielseitigkeit unterstreicht. Mit dieser Innovation eröffnet sich ein neuer Ansatz, um komplexe, heterogene Ereignisdaten präziser zu modellieren und zu interpretieren.