Spectral Graph Pre-Training & Prompt Tuning: Homophilie & Heterophilie meistern

Ein neues Verfahren namens HS‑GPPT wurde vorgestellt, das Graph‑Pre‑Training und Prompt‑Tuning kombiniert, um die Wissensübertragung bei begrenzter Supervision zu optimieren.

Aktuelle Ansätze setzen stark auf homophilische Strukturen und nutzen dabei vorwiegend niederfrequente Informationen. Dadurch bleiben sie bei realen Graphen, die unterschiedliche Spectral‑Verteilungen aufweisen, stark eingeschränkt.

Die Autoren führen eine theoretische Analyse durch und stellen das Prinzip der spectralen Spezifität vor: Nur wenn die während des Pre‑Trainings erlernten Spektralfilter mit dem eigentlichen Spektrum des Zielgraphen übereinstimmen, kann ein effektiver Transfer stattfinden.

Ein großes Problem ist der enorme Spektralabstand zwischen Pre‑Training‑ und Zielaufgaben, der die Anpassung bei wenig gelabelten Daten behindert.

HS‑GPPT überwindet diese Lücke, indem es einen hybriden Spektral‑Filter‑Backbone nutzt und lokale sowie globale kontrastive Lernziele einsetzt, um reichhaltiges Spektralwissen zu erwerben. Anschließend werden Prompt‑Graphen konstruiert, die die Spektraldistribution mit den Pre‑Text‑Aufgaben in Einklang bringen und so die Übertragung über Homophilie und Heterophilie hinweg ermöglichen.

Umfangreiche Experimente zeigen, dass das Modell sowohl im transduktiven als auch im induktiven Lernsetting die Leistung deutlich steigert.

Der zugehörige Code ist unter https://anonymous.4open.science/r/HS-GPPT-62D2/ verfügbar.