Neues Framework bewertet GNN-Ausdruckskraft anhand 336 Datensätzen

Um die Zuverlässigkeit von Graph Neural Networks (GNNs) zu erhöhen, hat ein Forschungsteam ein neues, auf Eigenschaften basierendes Evaluationsverfahren entwickelt. Das Verfahren nutzt die Spezifikationssprache Alloy, um zwei umfangreiche Datensatzfamilien zu generieren: GraphRandom, das zufällige Graphen erzeugt, die gezielt bestimmte Eigenschaften erfüllen oder verletzen, und GraphPerturb, das kontrollierte strukturelle Veränderungen einführt.

Insgesamt umfasst das Benchmark-Set 336 Datensätze, von denen jeder mehr als 10.000 gelabelte Graphen enthält. Die Datensätze decken 16 fundamentale Grapheigenschaften ab, die für verteilte Systeme, Wissensgraphen und biologische Netzwerke von zentraler Bedeutung sind. Damit bietet die Sammlung einen bislang fehlenden, systematischen Testrahmen für die Leistungsfähigkeit von GNNs.

Das vorgestellte Evaluationsframework bewertet drei Kernaspekte der GNN-Ausdruckskraft: Generalisierbarkeit, Sensitivität und Robustheit. Zwei neu entwickelte quantitative Metriken ermöglichen eine präzise Messung dieser Dimensionen. Anhand dieses Rahmens wurde erstmals die Wirkung globaler Pooling-Methoden auf die Ausdruckskraft von GNNs untersucht.

Die Ergebnisse zeigen klare Trade‑Offs: Attention‑basierte Pooling‑Methoden liefern die besten Ergebnisse in Bezug auf Generalisierung und Robustheit, während second‑order‑Pooling die höchste Sensitivität erreicht. Kein einzelner Ansatz überzeugt jedoch in allen 16 Eigenschaften, was die Komplexität der GNN‑Bewertung unterstreicht und neue Forschungsfragen eröffnet.