Spectral Graph Pre-Training & Prompt Tuning: Homophilie & Heterophilie meistern
Ein neues Verfahren namens HS‑GPPT wurde vorgestellt, das Graph‑Pre‑Training und Prompt‑Tuning kombiniert, um die Wissensübertragung bei begrenzter Supervision zu optimieren. Aktuelle Ansätze setzen stark auf homophilis…
- Ein neues Verfahren namens HS‑GPPT wurde vorgestellt, das Graph‑Pre‑Training und Prompt‑Tuning kombiniert, um die Wissensübertragung bei begrenzter Supervision zu optimi…
- Aktuelle Ansätze setzen stark auf homophilische Strukturen und nutzen dabei vorwiegend niederfrequente Informationen.
- Dadurch bleiben sie bei realen Graphen, die unterschiedliche Spectral‑Verteilungen aufweisen, stark eingeschränkt.
Ein neues Verfahren namens HS‑GPPT wurde vorgestellt, das Graph‑Pre‑Training und Prompt‑Tuning kombiniert, um die Wissensübertragung bei begrenzter Supervision zu optimieren.
Aktuelle Ansätze setzen stark auf homophilische Strukturen und nutzen dabei vorwiegend niederfrequente Informationen. Dadurch bleiben sie bei realen Graphen, die unterschiedliche Spectral‑Verteilungen aufweisen, stark eingeschränkt.
Die Autoren führen eine theoretische Analyse durch und stellen das Prinzip der spectralen Spezifität vor: Nur wenn die während des Pre‑Trainings erlernten Spektralfilter mit dem eigentlichen Spektrum des Zielgraphen übereinstimmen, kann ein effektiver Transfer stattfinden.
Ein großes Problem ist der enorme Spektralabstand zwischen Pre‑Training‑ und Zielaufgaben, der die Anpassung bei wenig gelabelten Daten behindert.
HS‑GPPT überwindet diese Lücke, indem es einen hybriden Spektral‑Filter‑Backbone nutzt und lokale sowie globale kontrastive Lernziele einsetzt, um reichhaltiges Spektralwissen zu erwerben. Anschließend werden Prompt‑Graphen konstruiert, die die Spektraldistribution mit den Pre‑Text‑Aufgaben in Einklang bringen und so die Übertragung über Homophilie und Heterophilie hinweg ermöglichen.
Umfangreiche Experimente zeigen, dass das Modell sowohl im transduktiven als auch im induktiven Lernsetting die Leistung deutlich steigert.
Der zugehörige Code ist unter https://anonymous.4open.science/r/HS-GPPT-62D2/ verfügbar.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.