Neues Lernverfahren: GCL-OT nutzt optimalen Transport für heterophile Textgraphen
In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein innovatives Verfahren namens GCL-OT vorgestellt, das graphkontrastives Lernen mit optimalem Transport kombiniert, um die Herausforderungen heterophiler Textattributgraphen zu meistern.
Traditionelle Methoden im Bereich der Struktur-Text-Contrastive-Learning-Ansätze setzen häufig auf Homophilie‑Annahmen und harte Optimierungsziele. Diese Einschränkungen führen zu suboptimalen Ergebnissen, wenn die Knoten in einem Graphen unterschiedliche semantische Eigenschaften besitzen. GCL-OT adressiert dieses Problem, indem es die verschiedenen Formen von Heterophilie – vollständige, partielle und latente Homophilie – explizit berücksichtigt.
Für partielle Heterophilie nutzt das Modell einen RealSoftMax‑basierten ÄhnlichkeitsEstimator, der wichtige Nachbarn-Wort‑Interaktionen hervorhebt und Hintergrundrauschen reduziert. Bei vollständiger Heterophilie wird ein prompt‑basierter Filter eingesetzt, der irrelevante Rauschelemente während der optimalen Transport‑Alignment‑Phase ausschließt. Zusätzlich integriert GCL-OT eine OT‑gesteuerte weiche Supervision, um potenzielle Nachbarn mit ähnlicher Semantik zu identifizieren und so latente Homophilie zu fördern.
Die theoretische Analyse zeigt, dass GCL-OT die Flexibilität und bidirektionale Ausrichtung von Struktur‑Text‑Alignment deutlich verbessert. Durch die gezielte Anpassung an die unterschiedlichen Heterophilie‑Typen bietet das Verfahren einen vielversprechenden Ansatz für die Verarbeitung von Textattributgraphen, die bislang schwer zu modellieren waren.