HOPE: Orthogonale Experten verbessern heterogene Graphenlernen

In der Forschung zu heterogenen Graphen-Neuralnetzen (HGNNs) liegt der Fokus bislang vor allem auf verbesserten Encodern. Der Decodierungs- bzw. Projektionsteil nutzt jedoch weiterhin einen einzigen linearen Kopf, der davon ausgeht, dass er die komplexen Knoteneinbettungen zuverlässig in Labels übersetzen kann. Dieser Ansatz führt zu einer sogenannten Linear‑Projection‑Bottleneck‑Situation: Bei heterogenen Graphen mit starkem Kontext‑Verschiedenheitsgrad und langen Schwanz‑Verteilungen kann ein globaler Kopf feine Semantik übersehen, stark frequentierte Knoten überanpassen und seltene Knoten vernachlässigen.

Ein Mixture‑of‑Experts‑Ansatz (MoE) könnte theoretisch helfen, doch eine naheliegende Umsetzung stößt auf strukturelle Ungleichgewichte und birgt das Risiko, dass die Experten kollabieren. Um diese Probleme zu lösen, hat ein Forschungsteam ein neues Framework namens HOPE (Heterogeneous‑aware Orthogonal Prototype Experts) entwickelt. HOPE ersetzt den Standard‑Prädiktionskopf durch ein plug‑and‑play-System, das lernbare Prototypen nutzt, um Instanzen anhand ihrer Ähnlichkeit an Experten zu routen. Dadurch folgt die Nutzung der Experten der natürlichen langen Schwanz‑Verteilung und wird gleichzeitig durch orthogonale Regularisierung diversifiziert, um Kollaps zu verhindern.

Experimentelle Ergebnisse auf vier realen Datensätzen zeigen, dass HOPE konsistente Verbesserungen bei verschiedenen führenden HGNN‑Backbones erzielt, ohne dabei einen signifikanten Overhead zu verursachen. Das neue Framework bietet damit einen vielversprechenden Weg, die Leistungsfähigkeit heterogener Graphenmodelle nachhaltig zu steigern.