Neue Messgröße prüft Wahrhaftigkeit von Graph‑Embeddings im Zeitverlauf
In einer Welt, in der Flugrouten, Kryptowährungstransaktionen und viele andere Systeme als dynamische Graphen modelliert werden, stellt sich die Frage: Bleiben die erzeugten Embeddings wirklich ein vertrauenswürdiges Abbild der sich ständig verändernden Netzwerke? Traditionelle Benchmarks bewerten Lernmodelle für dynamische Graphen meist nur anhand ein paar, aufgabenbezogener Metriken und vernachlässigen dabei, ob die Embeddings selbst die Netzwerkentwicklung akkurat widerspiegeln.
Forscher haben dieses Problem als „Representation Integrity“ definiert und eine Reihe von Indizes entwickelt, die messen, wie eng die Änderungen der Embeddings mit den tatsächlichen Graphänderungen korrespondieren. Durch die Analyse von drei synthetischen Szenarien – Gradual Merge, Abrupt Move und Periodic Re‑wiring – wurden 42 potenzielle Indizes getestet. Der ausgewählte Index erfüllt sowohl theoretische als auch empirische Kriterien und bewertet die Modelle UASE und IPP als besonders stabil.
Mit diesem neuen Maßstab wurden gängige dynamische Graph‑Lernmodelle verglichen. Die Ergebnisse zeigen, dass die Stärken der neuronalen Methoden stark von der jeweiligen Szenariokonfiguration abhängen und dass ein hoher Integrity‑Score stark mit der Genauigkeit bei ein‑Schritt‑Link‑Prediction (AUC) korreliert. Das vorgestellte Framework bietet damit ein task‑agnostisches, interpretierbares Bewertungstool, das Entwicklern klare Hinweise für die Auswahl und Weiterentwicklung von Architekturen liefert.