KI News: Kurz und klar.

Graph Neural Networks (GNNs) arbeiten häufig mit Text‑Attributed Graphs (TAGs), indem sie die Texte von Knoten mit vortrainierten Sprachmodellen (PLMs) kodieren und die resultierenden Einbettungen linear über Nachbarschaften aggregieren. Doch die Repräsentationsräume moderner PLMs sind hochgradig nichtlinear und geometrisch strukturiert – die Text‑Embeddings liegen auf gekrümmten semantischen Manifolds statt in flachen euklidischen Räumen. Lineare Aggregation auf solchen Manifolds verfälscht die Geometrie und führt zu semantischem Drift, bei dem die aggregierten Vektoren vom eigentlichen Manifold abweichen und semantische Präzision sowie Ausdruckskraft verlieren.

Neue Forschungsergebnisse zeigen, dass Sprachmodelle, die strukturelle Informationen wie Hyperlinks und Zitate direkt in ihren Encoding-Prozess einbeziehen, deutlich bessere Ergebnisse liefern als herkömmliche Text‑Embeddings. Das von der Community veröffentlichte Papier „Struc-EMB“ demonstriert, wie die Integration von Struktur in die internen Abläufe eines großen Sprachmodells die Qualität von Textrepräsentationen nachhaltig verbessert.