Leichtgewichtiger Tree-of-Thought-Ansatz mit Plug-and-Play-Prädiktor

In der Welt der großen Sprachmodelle (LLMs) hat die Fähigkeit zum komplexen Denken stark zugenommen. Doch etablierte Methoden wie das Tree-of-Thought (ToT)-Framework stehen vor einer entscheidenden Herausforderung: Sie müssen zwischen tiefer Exploration und rechnerischer Effizienz abwägen. Traditionelle ToT-Implementierungen setzen häufig auf aufwändige LLM-basierte Selbstbewertung oder starre Heuristiken zur Zweigschneidung, was sie teuer und unflexibel macht.

Um dieses Problem zu lösen, wurde der Domain‑Specialized Tree of Thought (DST) vorgestellt. DST ist ein anpassungsfähiger, Plug‑and‑Play‑Prädiktor, der als leichtgewichtige, überwachte Heuristik den ToT‑Suchprozess steuert. Der Prädiktor ermöglicht eine dynamische, kontextabhängige Pruning‑Strategie: Auf einfachen Denkaufgaben arbeitet die Suche nahezu gierig, während bei Unsicherheit oder hoher Komplexität das Suchfeld gezielt erweitert wird.

Die Leistung von DST wurde an einer breiten Palette von Benchmarks getestet, die mathematisches, allgemeines und komplexes logisches Denken abdecken. Die Ergebnisse zeigen, dass DST die Genauigkeit etablierter Baselines erreicht oder sogar übertrifft, während der Rechenaufwand um 26 % bis 75 % reduziert wird. Damit wird das Accuracy‑Efficiency‑Trade‑off im Tree‑Based‑Reasoning gelöst und ToT von einer ressourcenintensiven Technik zu einem skalierbaren, praxisnahen Ansatz für anspruchsvolle Problemstellungen in LLMs transformiert.