InfGraND: Einflussbasierte Distillation von GNN zu MLP für schnelle Graph-Analyse

Graph Neural Networks (GNNs) gelten als Standardmodell für die Analyse von Graphdaten, doch ihre Kernoperationen – Aggregation und Update – führen zu hohen Rechenaufwand und Latenz. Einfache Multi‑Layer Perceptrons (MLPs) bieten eine ressourcenschonende Alternative, erreichen jedoch in der Regel nicht die gleiche Genauigkeit, wenn sie ausschließlich in einem überwachten Lernsetting trainiert werden.

Knowledge Distillation (KD) überbrückt diese Lücke, indem ein leistungsfähiger GNN‑Lehrer seine Kenntnisse an einen MLP‑Studenten überträgt. Die meisten bestehenden KD‑Methoden verhalten sich jedoch gleichmäßig: Sie übertragen Wissen über alle Knoten hinweg oder nutzen graphagnostische Kennzahlen wie Vorhersageunsicherheit. Dadurch wird die eigentliche strukturelle Bedeutung einzelner Knoten vernachlässigt.

InfGraND („Influence‑guided Graph Knowledge Distillation“) adressiert dieses Problem, indem es die strukturell einflussreichsten Knoten identifiziert und priorisiert. Durch gezielte Auswahl dieser Knoten wird der Distillationsprozess effizienter gestaltet, sodass der MLP aus den wichtigsten Teilen des Graphen lernt. Zusätzlich berechnet InfGraND einmalig multi‑hop Nachbarschaftsfeatures, die dem MLP strukturelles Wissen vermitteln, ohne dass bei der Inferenz zusätzliche Berechnungen erforderlich sind.

In umfangreichen Experimenten – sowohl im transduktiven als auch im induktiven Setting – wurden sieben homophile Benchmark‑Graphen getestet. InfGraND übertraf dabei konsequent frühere GNN‑zu‑MLP‑KD‑Methoden und demonstriert damit seine Eignung für zahlreiche Anwendungen, bei denen niedrige Latenz und begrenzte Ressourcen entscheidend sind.