Bunte Graphen‑Diskussionen: Menschlich verständliche Graphencodierungen für LLMs

Große Sprachmodelle (LLMs) sind im Umgang mit unstrukturiertem Text unschlagbar, doch bei Graphaufgaben stoßen sie an ihre Grenzen. Die Notwendigkeit, explizite Strukturen zu verarbeiten, Permutationsinvarianten zu berücksichtigen und komplexe Beziehungen zu berechnen, führt zu einer deutlichen Diskrepanz zwischen den textbasierten Repräsentationen der Modelle und den Anforderungen von Graphen.

Die neue Studie präsentiert eine innovative, menschlich interpretierbare Kodierungsstrategie, die die Graphstruktur direkt in natürliche Sprachprompts einbettet. Anstatt numerischer Labels werden die Klassen des Weisfeiler‑Lehman‑Algorithmus (WL) in farbige Tokens übersetzt, die für Menschen intuitiver verständlich sind.

Durch die Zuordnung von WL‑Similarity‑Klassen zu farbigen Symbolen erhält das Modell semantisch sinnvolle Hinweise, die leichter zu verarbeiten sind als reine, symbolische Codierungen. Diese Herangehensweise nutzt die natürliche Affinität von LLMs für sprachlich gestaltete Informationen.

Experimentelle Ergebnisse auf einer Vielzahl von algorithmischen und prädiktiven Graphaufgaben – sowohl synthetischen als auch realen Datensätzen – zeigen deutliche Leistungssteigerungen. Besonders bei Aufgaben, die ein globales Verständnis des Graphen erfordern, profitieren die Modelle erheblich von der Kombination aus lokalen und globalen Abhängigkeiten, die durch die farbcodierte Struktur erfasst werden.