Thinker: Hierarchisches Denken für tiefgreifende Suche mit LLMs

Ein neues Modell namens Thinker verspricht, die Art und Weise zu revolutionieren, wie große Sprachmodelle (LLMs) auf externe Wissensdatenbanken und das Web zugreifen. Durch die Einführung einer hierarchischen Denkstruktur wird der gesamte Denkprozess nicht nur nachvollziehbar, sondern auch überprüfbar.

Thinker zerlegt komplexe Aufgaben in eigenständige Teilprobleme, die jeweils sowohl in natürlicher Sprache als auch in einer äquivalenten logischen Funktion dargestellt werden. Diese Dualdarstellung ermöglicht es dem Modell, gezielt nach relevanten Informationen zu suchen und gleichzeitig die logische Konsistenz zwischen den Teilproblemen zu wahren.

Ein weiteres innovatives Feature ist die Bestimmung der Wissensgrenze: Das Modell prüft, ob ein Teilproblem bereits innerhalb seines eigenen Wissens liegt, und beantwortet es gegebenenfalls ohne externe Suche. Dadurch werden unnötige Aufrufe von Retrieval-Services vermieden und die Effizienz gesteigert.

Experimentelle Ergebnisse zeigen, dass Thinker mit nur wenigen hundert Trainingsbeispielen bereits mit etablierten Baselines konkurrieren kann. Bei vollständiger Ausnutzung des Trainingsdatensatzes übertrifft Thinker diese Methoden deutlich – und zwar über verschiedene Datensätze sowie Modellgrößen hinweg. Der Quellcode ist öffentlich zugänglich unter https://github.com/OpenSPG/KAG-Thinker.