LLMs meistern Text-Graphen ohne Struktur – Struktur hilft nicht mehr

In einer aktuellen Untersuchung auf arXiv wird die Annahme in Frage gestellt, dass graphbasierte Strukturen für große Sprachmodelle (LLMs) zwingend notwendig sind. Graphen verbinden semantische Inhalte mit relationalen Strukturen und sind deshalb in Bereichen wie Molekulardarstellung, Zitationsnetzwerken und sozialen Graphen sehr beliebt. Gleichzeitig haben LLMs enorme Fortschritte beim Verstehen natürlicher Sprache erzielt und zeigen großes Potenzial für die Verarbeitung von Graphdaten.

Die Studie testet verschiedene Strategien zur Einbettung von Graphstrukturen in LLMs. Überraschenderweise erreichen Modelle, die ausschließlich die textuellen Beschreibungen der Knoten nutzen, bereits sehr gute Ergebnisse bei einer Vielzahl von Aufgaben. Hinzu kommt, dass die meisten zusätzlichen strukturellen Codierungen – sei es über graphbasierte Vorlagen oder Graph Neural Networks – nur geringe Verbesserungen bringen oder sogar negative Effekte zeigen. Das deutet darauf hin, dass explizite strukturelle Vorurteile in vielen Fällen überflüssig oder sogar kontraproduktiv sind, wenn leistungsfähige Sprachmodelle eingesetzt werden.

Diese Erkenntnisse stellen einen deutlichen Bruch mit traditionellen Graphlernparadigmen dar und fordern einen Neubeginn: Statt sich ausschließlich auf die Struktur zu verlassen, sollten neue, semantikzentrierte Ansätze entwickelt werden, die die Stärken von LLMs optimal nutzen. Die Arbeit öffnet damit die Tür zu einer neuen Ära des Graphlernens, in der die Bedeutung von Textdaten im Vordergrund steht.