KG‑o1 verbessert Mehrschritt‑Fragenbeantwortung in LLMs durch Wissensgraphen

Ein neues Verfahren namens KG‑o1 nutzt Wissensgraphen, um die Fähigkeit großer Sprachmodelle (LLMs) bei mehrschrittigen Fragen und Antworten zu stärken. Durch die Integration von expliziten Faktenverbindungen aus Wissensgraphen kann das Modell logische Pfade nachvollziehen, die bei herkömmlichen LLMs oft fehlgeleitet werden.

Der Ansatz besteht aus vier Schritten: Zunächst werden relevante Entitäten gefiltert und komplexe Teilgraphen erzeugt. Anschließend werden logische Pfade innerhalb dieser Teilgraphen konstruiert, um ein umfangreiches Trainingsset zu generieren. Dieses Set trainiert das Modell, längere und strukturierte Denkprozesse zu imitieren. Im letzten Schritt wird mittels Ablehnungs­sampling ein selbstverbessernder Korpus erstellt, der für die direkte Präferenzoptimierung (Direct Preference Optimization, DPO) genutzt wird.

In Experimenten mit zwei einfachen und zwei komplexen Datensätzen zeigte KG‑o1 eine überlegene Leistung gegenüber bestehenden großen Rechenmodellen. Die Ergebnisse deuten darauf hin, dass die Kombination aus Wissensgraphen und langen Schritten die Genauigkeit bei mehrschrittigen Aufgaben deutlich steigert.