GraphDancer: LLMs lernen, Graphen zu erkunden und zu durchdenken

Moderne Sprachmodelle greifen zunehmend auf externe Wissensquellen zurück, um ihre Faktenlage zu verbessern. Viele dieser Quellen sind jedoch nicht als fließender Text, sondern als heterogene Graphen strukturiert. Das Durchschauen solcher Graphen stellt zwei zentrale Aufgaben dar: Erstens erfordert das Navigieren durch schema‑definierte Relationen präzise Funktionsaufrufe statt einfacher Ähnlichkeitsabfragen. Zweitens müssen komplexe Fragen oft durch mehrstufige Evidenzaggregation beantwortet werden, was wiederholtes Informationssuchen nötig macht.

Um diese Herausforderungen zu meistern, präsentiert GraphDancer ein Reinforcement‑Learning‑Framework, das große Sprachmodelle dazu befähigt, Graphen zu erkunden, indem es logisches Denken und Funktionsausführung nahtlos kombiniert. Ein besonderes Merkmal ist die graph‑bewusste Curriculum‑Strategie, die das Training anhand der strukturellen Komplexität der Suchpfade von einfach zu schwierig steuert. Dadurch wird das Lernen für mittelgroße Modelle effizienter gestaltet.

Die Leistung von GraphDancer wurde an einem Multi‑Domain‑Benchmark getestet, bei dem das Modell ausschließlich in einem Bereich trainiert und anschließend auf völlig unbekannte Domänen sowie auf abweichende Fragestellungen angewendet wurde. Trotz eines 3‑Billionen‑Parameter‑Backbones übertrifft GraphDancer sowohl Modelle mit 14 Billionen Parametern als auch GPT‑4o‑mini in Bezug auf die Fähigkeit, Graphen zu erkunden und zu durchdenken. Diese Ergebnisse demonstrieren eine robuste, domänenübergreifende Generalisierung der erlernten Graph‑Explorations‑ und -Reasoning‑Fähigkeiten.

Alle zugehörigen Code‑ und Modelldateien stehen unter https://yuyangbai.com/graphdancer/ zur Verfügung.