Baumkürzung: Semantische Ähnlichkeit für dynamisches Pruning im Tree-of-Thought

arXiv – cs.AI Original ≈1 Min. Lesezeit
Anzeige

Die Tree-of-Thought (ToT)-Methode steigert die Problemlösungsfähigkeit großer Sprachmodelle, kostet jedoch enorme Rechenressourcen, weil verschiedene Zweige identische Denkpfade verfolgen.

Mit dem neuen Ansatz Semantic Similarity-Based Dynamic Pruning (SSDP) wird erstmals eine Online‑Semantik‑Fusion in einen parallelisierten Baumsuchalgorithmus integriert. SSDP erkennt gleichartige Schritte in Echtzeit, gruppiert sie und schneidet redundante Pfade aus – ohne die Genauigkeit zu gefährden.

In umfangreichen Benchmarks wie GSM8K und MATH500 liefert SSDP bis zu 2,3‑fach schnellere Ausführungen als führende Tree‑Search‑Baselines. Gleichzeitig bleibt die Trefferquote innerhalb von 5 % des stärksten Vergleichs und die Anzahl der untersuchten Knoten sinkt um 85 % bis 90 %.

Der Code ist frei verfügbar unter https://github.com/kimjoonghokim/SSDP und bietet damit einen praktikablen Weg, LLM‑Reasoning effizienter und skalierbarer zu gestalten.

Ähnliche Artikel