Effiziente CoT-Übertragung: Adaptive Zusammenfassung steigert Genauigkeit um 40 %

Ein neues Framework namens CoT‑X ermöglicht die effiziente Übertragung von Chain‑of‑Thought‑Logik zwischen Sprachmodellen unterschiedlicher Größe und Architektur. Durch die Kombination von semantischer Segmentierung, Wichtigkeitsbewertung und dynamischer Kompression werden die entscheidenden Schritte einer Argumentation beibehalten, während die Tokenzahl drastisch reduziert wird.

In umfangreichen Tests mit 7.501 medizinischen Prüfungsfragen aus zehn Fachgebieten erzielte CoT‑X bis zu 40 % höhere Genauigkeit als herkömmliche Kürzung bei gleichem Tokenbudget. Diese Leistung zeigt, dass die Zusammenfassung von CoT‑Schritten die Leistungsfähigkeit von LLMs unter Ressourcenbeschränkungen deutlich steigern kann.

Die Evaluierung an 64 Modellpaaren aus acht großen Sprachmodellen (1,5 B–32 B Parameter) bestätigte die starke Übertragbarkeit des Ansatzes. Ein auf Gaußschen Prozess basierendes Bayesian‑Optimierungsmodul senkte die Evaluationskosten um 84 % und offenbarte eine klare Potenzgesetz‑Relation zwischen Modellgröße und Domänenrobustheit.

Die Ergebnisse demonstrieren, dass die Zusammenfassung von Chain‑of‑Thought‑Schritten einen praktikablen Weg bietet, fortgeschrittene Logik unter strengen Rechenbeschränkungen einzusetzen. Der zugehörige Code wird nach Veröffentlichung freigegeben.